Итак, у меня есть компьютер с Windows, который непрерывно собирает данные для эксперимента физики. Данные сохраняются в текстовом файле, для которого каждое новое событие добавляется в новую строку.
Каждый раз мне нужно переанализировать данные. Я передаю файл на компьютер ubuntu по ssh, это в начале, но когда файл проходит 1 ГБ, он начинает занимать много времени, чтобы передать файл отверстия снова и снова, когда только последние строки различны.
Чтобы дать вам представление о экспериментах работает около 3 часов, передача занимает ~ 5 минут на каждый ГБ, файлы обычно составляют не более 3 ГБ, а файлы имеют номер строки порядка десятков миллионов.
Если у вас есть решение, которое работает только для linux для передачи linux мне также интересно, может быть, я могу попробовать это с cygwin.
Если только последние несколько строк файла меняются каждый раз, передача всего файла снова и снова не является лучшим решением.
Есть инструменты, которые вычисляют различия в файле и копируют только с новыми битами, например rsync (с использованием дельта-кодирования, подробнее здесь: http://en.wikipedia.org/wiki/Rsync)