параллель nohup и rsync из ошибки памяти

У меня есть 10 ТБ данных (приблизительно 100 миллионов PDFs), что я копирую от поля Centos до нового поля Ubuntu. Я создал копию-pdfs.sh сценария с этим

parallel -j 10 :::: jobs.txt

и запустил процесс с помощью nohup (Это - удаленный сервер, таким образом, я не могу легко использовать консоль). Это - моя команда для запуска заданий.

nohup /home/user/copy-pdfs.sh &

Мой jobs.txt выглядит примерно так, существует приблизительно 36 000 папок.

rsync -avvz --chmod=Du=rwx,Dgo=rx,Fug=rw,Fo=r --chown={$owner}:{$group} user@old-server:/pdfs/1 /pdfs/. >> /home/user/progress.log;echo 'folder 1 done' >> /home/user/prog.log
rsync -avvz --chmod=Du=rwx,Dgo=rx,Fug=rw,Fo=r --chown={$owner}:{$group} user@old-server:/pdfs/2 /pdfs/. >> /home/user/progress.log;echo 'folder 2 done' >> /home/user/prog.log
rsync -avvz --chmod=Du=rwx,Dgo=rx,Fug=rw,Fo=r --chown={$owner}:{$group} user@old-server:/pdfs/3 /pdfs/. >> /home/user/progress.log;echo 'folder 3 done' >> /home/user/prog.log

Моя проблема состоит в том, что это хорошо работает в течение максимум 24 часов, затем останавливается. Мой nohup.out просто имеет:

Killed

И в системном журнале у меня есть это:

Jan 19 19:08:00 {$server} kernel: [97451.781319] Out of memory: Kill process 9765 (rsync) score 1 or sacrifice child
Jan 19 19:08:00 {$server} kernel: [97451.782165] Killed process 9765 (rsync) total-vm:535628kB, anon-rss:10044kB, file-rss:1500kB

Новый сервер является виртуальным, и на первом показе он имел 4 ГБ RAM. У меня были еще 4 ГБ, присвоенные ему, и это теперь имеет 8 ГБ RAM. Это не остановилось из случая ошибки памяти. Я не вижу то, что вызывает эту ошибку. Я был бы очень благодарен за любые предложения.

2
задан 20 January 2017 в 12:11

0 ответов

Другие вопросы по тегам:

Похожие вопросы: