Какой самый быстрый способ распространить большой файл между множеством машин?

Представьте, что вы запускаете высокопараллельный сервис, который требует регулярной синхронизации большого файла (допустим, 100 ГБ) между многими машинами (допустим, 100), и вы хотите, чтобы эти данные были распространены как можно быстрее, чтобы сервис, который обрабатывает этот файл ниже по течению, мог начать свою работу.

Последовательная отправка данных на первую машину, затем на вторую, затем на третью и т.д. и т.п. проста по сценарию, но требует много времени и очень расточительна: в любой момент времени 98 машин сидят без дела.

Эта страница Википедии описывает несколько различных алгоритмов для передачи данных на несколько машин. Существуют ли утилиты оболочки, которые используют более умную, чем нативная, стратегию для выполнения этой широковещательной операции на обычном файле?

0
задан 25 June 2021 в 01:27

1 ответ

Если они находятся в одной сети, должно работать любое программное обеспечение mutlicast FTP (быстрее, чем bittorrent): uftp, udpcast и firethrower доступны в apt.

1
ответ дан 28 July 2021 в 11:25

Другие вопросы по тегам:

Похожие вопросы: