У меня есть файл размером 76 ГБ, который я хочу загрузить с моего веб-сервера, но боюсь, он может испортиться при загрузке по HTTP. Существуют ли варианты загрузки файлов, которые будут проверять наличие повреждений?
Так как Вы не упоминали никого, я ожидаю, что у Вас нет ограничений относительно портов или программ на обоих сайтах.
я загрузил бы его через http с клиентом, который может возобновиться (например, wget -c
). Затем проверьте md5sum
. Если существует что-то не так с ним, которое я не ожидаю, я затем использовал бы rsync по ssh, который должен передать (только) остальных. Кроме того, Вы могли заменить первую передачу http rsync, но IMO http более прост.
БитТоррент является также возможностью, поскольку он гарантирует, что каждая часть файла (файлов) соответствует исходным подписям.
также уменьшит загрузку сервера, если многим людям будет нужен файл.
zsync в основном делает то, что Jakob Lenfers предлагает в своем ответе, но БитТоррент, оказалось, был лучшей альтернативой, где это доступно, и сетевое соединение может, по крайней мере, передать некоторые биты правильно, это сделает задание для Вас с наименьшим количеством стычки для клиента/приемного устройства. Более благоприятная для потребителя версия была бы Syncthing.