Передача файла, который продолжает меняться с добавлением новых строк

Итак, у меня есть компьютер с Windows, который непрерывно собирает данные для эксперимента физики. Данные сохраняются в текстовом файле, для которого каждое новое событие добавляется в новую строку.

Каждый раз мне нужно переанализировать данные. Я передаю файл на компьютер ubuntu по ssh, это в начале, но когда файл проходит 1 ГБ, он начинает занимать много времени, чтобы передать файл отверстия снова и снова, когда только последние строки различны.

Чтобы дать вам представление о экспериментах работает около 3 часов, передача занимает ~ 5 минут на каждый ГБ, файлы обычно составляют не более 3 ГБ, а файлы имеют номер строки порядка десятков миллионов.

Если у вас есть решение, которое работает только для linux для передачи linux мне также интересно, может быть, я могу попробовать это с cygwin.

1
задан 14 January 2014 в 00:12

1 ответ

Если только последние несколько строк файла меняются каждый раз, передача всего файла снова и снова не является лучшим решением.

Есть инструменты, которые вычисляют различия в файле и копируют только с новыми битами, например rsync (с использованием дельта-кодирования, подробнее здесь: http://en.wikipedia.org/wiki/Rsync)

1
ответ дан 24 May 2018 в 13:03

Другие вопросы по тегам:

Похожие вопросы: