Сколько времени займет сортировка uniq файла размером 62 ГБ? [закрыто]
В течение 5 часов я выполнял команду sort file1 | uniq > file2 на файле размером 62 ГБ, и мне просто интересно, сколько времени это займет.
У меня процессор Intel® Core™ i7-4510U CPU @ 2.00GHz × 4 с 8GB RAM.
Будет быстрее, если я запущу sort --parallel=4 -uo file2 file1?
1 ответ
Будет требоваться много времени. Точное время зависит от большого количества вещей, как то, имеет ли файл много дублирующихся строк или отсортирован ли он уже или очень беспорядочный. Нет никакого способа сказать от Ваших системных спецификаций.
Да, последняя команда будет намного быстрее, тем более, что она может отбросить дубликаты, поскольку она работает вместо того, чтобы иметь необходимость держаться за них. Однако Вам нужно file2 file1 на конце начиная с аргумента -o, опция прибывает прямо после -o.
Видят также другой ответ, который добавляет в nice и ionice для ускорения вещей за счет замедления всего остального вниз (возможно, на грани замораживания других задач).
-
1Следует иметь в виду многих пользователей сервера can' t запущенные приложения для GUI. – WinEunuuchs2Unix 27 June 2017 в 03:57