сортировка очень большая для больших файлов

Question 1

Я хочу отсортировать файл (с удалением дубликатов), который содержит список слов размером почти 25 ГБ. Я использую команду sort в терминале Ubuntu, но для вывода отсортированного файла требуются часы, команда:

sort -u input.txt>output.txt

Есть ли какой-нибудь альтернативный и эффективный способ сделать то же самое?

Question 2

От моего личного опыта: если Вы хотите уникальные строки, удостоверяются, что Вы также используете

LC_ALL=C sort -u

Я вижу улучшения скорости фактором 10, но он, вероятно, зависит от символов в файле (я часто должен использовать его для переводов, таким образом, у меня есть символы с диакритикой в файле).

Question 3

Question 4

Действительно невероятный инструмент является xsv (https://github.com/BurntSushi/xsv). Выполнение его для 3 173 959 файлов строк

xsv sort input.txt >output.csv

У меня есть вывод за 3 секунды

Rinzwind · Answer 1 · 7 December 2019 в 13:14

От моего личного опыта: если Вы хотите уникальные строки, удостоверяются, что Вы также используете

LC_ALL=C sort -u

Я вижу улучшения скорости фактором 10, но он, вероятно, зависит от символов в файле (я часто должен использовать его для переводов, таким образом, у меня есть символы с диакритикой в файле).

aborruso · Answer 2 · 7 December 2019 в 13:14

Действительно невероятный инструмент является xsv (https://github.com/BurntSushi/xsv). Выполнение его для 3 173 959 файлов строк

xsv sort input.txt >output.csv

У меня есть вывод за 3 секунды

сортировка очень большая для больших файлов

2 ответа

Другие вопросы по тегам:

Похожие вопросы: