Сортировка по текстовому файлу

Я пытаюсь отсортировать текстовый файл на основе второго поля в столбцах, поэтому в основном у меня есть файл типа

"Year","District Code","District Name","Neighborhood Code","Neighborhood Name","Gender","Number"
"2017","1","Ciutat Vella","1","el Raval","Boys",283
"2017","1","Ciutat Vella","2","el Barri Gòtic","Boys",56
"2017","1","Ciutat Vella","3","la Barceloneta","Boys",51
"2017","1","Ciutat Vella","4","Sant Pere, Santa Caterina i la Ribera","Boys",90
"2017","2","Eixample","5","el Fort Pienc","Boys",117
"2017","2","Eixample","6","la Sagrada Família","Boys",207
"2017","2","Eixample","7","la Dreta de l'Eixample","Boys",185
"2017","2","Eixample","8","l'Antiga Esquerra de l'Eixample","Boys",176
"2017","2","Eixample","9","la Nova Esquerra de l'Eixample","Boys",218
"2017","2","Eixample","10","Sant Antoni","Boys",172
"2017","3","Sants-Montjuïc","11","el Poble Sec","Boys",156
"2017","3","Sants-Montjuïc","12","la Marina del Prat Vermell","Boys",4
"2017","3","Sants-Montjuïc","13","la Marina de Port","Boys",119
"2017","3","Sants-Montjuïc","14","la Font de la Guatlla","Boys",42
"2017","3","Sants-Montjuïc","15","Hostafrancs","Boys",78
"2017","3","Sants-Montjuïc","16","la Bordeta","Boys",81
"2017","3","Sants-Montjuïc","17","Sants - Badal","Boys",108
"2017","3","Sants-Montjuïc","18","Sants","Boys",155
"2017","4","Les Corts","19","les Corts","Boys",199
"2017","4","Les Corts","20","la Maternitat i Sant Ramon","Boys",101
"2017","4","Les Corts","21","Pedralbes","Boys",32
"2017","5","Sarrià-Sant Gervasi","22","Vallvidrera, el Tibidabo i les Planes","Boys",17
"2017","5","Sarrià-Sant Gervasi","23","Sarrià","Boys",122
"2017","5","Sarrià-Sant Gervasi","24","les Tres Torres","Boys",74
"2017","5","Sarrià-Sant Gervasi","25","Sant Gervasi - la Bonanova","Boys",104
"2017","5","Sarrià-Sant Gervasi","26","Sant Gervasi - Galvany","Boys",206
"2017","5","Sarrià-Sant Gervasi","27","el Putxet i el Farró","Boys",127
"2017","6","Gràcia","28","Vallcarca i els Penitents","Boys",66
"2017","6","Gràcia","29","el Coll","Boys",26
"2017","6","Gràcia","30","la Salut","Boys",62
"2017","6","Gràcia","31","la Vila de Gràcia","Boys",241
"2017","6","Gràcia","32","el Camp d'en Grassot i Gràcia Nova","Boys",149
"2017","7","Horta-Guinardó","33","el Baix Guinardó","Boys",97
"2017","7","Horta-Guinardó","34","Can Baró","Boys",41
"2017","7","Horta-Guinardó","35","el Guinardó","Boys",148
"2017","7","Horta-Guinardó","36","la Font d'en Fargues","Boys",26
"2017","7","Horta-Guinardó","37","el Carmel","Boys",123
"2017","7","Horta-Guinardó","38","la Teixonera","Boys",48
"2017","7","Horta-Guinardó","39","Sant Genís dels Agudells","Boys",28
"2017","7","Horta-Guinardó","40","Montbau","Boys",26
"2017","7","Horta-Guinardó","41","la Vall d'Hebron","Boys",12
"2017","7","Horta-Guinardó","42","la Clota","Boys",8
"2017","7","Horta-Guinardó","43","Horta","Boys",9

. Я хочу отсортировать весь файл на основе кода района, а затем распечатать результаты, я просто скопировал здесь пару строк потому что в файле более 1000 строк, поэтому я пробовал несколько команд:

cat $1 | sort -n -k 2
cat $1 | sort -t \" -n -k 2

Но кажется, что он абсолютно ничего не делает?

Есть также некоторые строки, которые не отсортированы, например:

"2017","10","Sant Martí","64","el Camp de l'Arpa del Clot","Boys",148
"2017","10","Sant Martí","65","el Clot","Boys",125
"2017","10","Sant Martí","66","el Parc i la Llacuna del Poblenou","Boys",79
"2017","10","Sant Martí","67","la Vila Olímpica del Poblenou","Boys",34
"2017","10","Sant Martí","68","el Poblenou","Boys",160
"2017","10","Sant Martí","69","Diagonal Mar i el Front Marítim del Poblenou","Boys",103
"2017","10","Sant Martí","70","el Besòs i el Maresme","Boys",119
"2017","10","Sant Martí","71","Provençals del Poblenou","Boys",106
"2017","10","Sant Martí","72","Sant Martí de Provençals","Boys",100
"2017","10","Sant Martí","73","la Verneda i la Pau","Boys",122
"2017","1","Ciutat Vella","1","el Raval","Girls",219
"2017","1","Ciutat Vella","2","el Barri Gòtic","Girls",53
"2017","1","Ciutat Vella","3","la Barceloneta","Girls",50
"2017","1","Ciutat Vella","4","Sant Pere, Santa Caterina i la Ribera","Girls",90
"2017","2","Eixample","5","el Fort Pienc","Girls",114
"2017","2","Eixample","6","la Sagrada Família","Girls",183
"2017","2","Eixample","7","la Dreta de l'Eixample","Girls",159

Так что на случай, если вам интересно . Спасибо ...

0
задан 4 June 2021 в 02:05

2 ответа

Попробуйте этот код:

sort -t'"' -n -k4 "input.txt" > "output.txt"

Что происходит?

Он использует двойные кавычки " в качестве разделителя. Это позволяет нам перейти ко второму цитируемый столбец чисел как "числа", а не строки. Но это мешает подсчету столбцов. Поскольку каждая строка начинается с сортировки ", считается, что пустой столбец перед" Годом ". Точно так же разделитель запятой между «Годом» и «Кодексом округа» также считается столбцом. Таким образом, код района - -k4, а не -k2.

Если мы используем запятую , в качестве разделителя, коды районов заключаются в двойные кавычки и при сортировке обрабатываются как строки.

input.txt - это имя входного файла. А output.txt - это имя выходного файла.

Ссылка: https://stackoverflow.com/questions/24688548/bash-sort-quoted-csv-files-by-numeric-key

Надеюсь, это поможет

4
ответ дан 28 July 2021 в 11:32

Проблема в том, что кавычки делают ваше поле Код района нечисловым, даже если вы используете правильный разделитель , .

Для ввода CSV я бы рекомендовал использовать инструмент с поддержкой CSV - помимо обработки цитирования, он будет обрабатывать заголовок (который нужно будет удалить и снова вставить, если вы используете обычную sort ).

Например, вы можете использовать csvsort из пакета csvkit на основе Python. К сожалению, по умолчанию он удаляет ненужные кавычки для полей - но вы можете вернуть это обратно с помощью csvformat из того же пакета:

csvsort -c "District Code" file.csv | csvformat -U1

Поскольку csvsort выполняет вывод типа по умолчанию, вы получаете числовую сортировку бесплатно - отключите вывод используя -I или - без вывода , чтобы увидеть разницу.

В качестве альтернативы вы можете использовать Miller (доступно из репозитория Ubuntu Universe ):

mlr --csv --quote-all sort -n "District Code" file.csv

Вы можете попробовать - csvlite вместо --csv , если ваши файлы соответствуют более простому формату.


Если нет ни csvkit , ни mlr , то вы можете сделать что-то подобное с помощью GNU awk . Основная идея состоит в том, чтобы создать два массива, каждый из которых проиндексирован по номеру записи, один из которых содержит целые строки, а другой - значения второго столбца (преобразованные в числа). Затем отсортируйте последний численно и используйте его отсортированные индексы для печати строк:

gawk -F, '
  {line[NR] = $0; gsub(/^"|"$/,"",$2); key[NR] = $2} 
  END {PROCINFO["sorted_in"] = "@val_num_asc"; for(k in key) print line[k]}
' file.csv

или (более элегантно) с использованием одного массива с настраиваемой функцией сравнения

gawk -F, '
  function mycmp (i1, v1, i2, v2) {
    split(v1,a); gsub(/^"|"$/,"",a[2]); 
    split(v2,b); gsub(/^"|"$/,"",b[2]); 
    return a[2] - b[2]
  }
  {
    line[NR] = $0
  } 
  END {
    PROCINFO["sorted_in"] = "mycmp"; 
    for (i in line) print line[i]
  }
' file.csv

Обратите внимание, что в обоих случаях строка заголовка остается на месте, потому что имя столбца Код района численно оценивается как 0 , и ни одно из значений столбца не меньше «1» . Более формально правильное решение - обрабатывать строку заголовка своим собственным NR == 1 {print; next} правило.

См. Руководство пользователя GNU Awk: 12.2.1 Управление обходом массива

3
ответ дан 28 July 2021 в 11:32

Другие вопросы по тегам:

Похожие вопросы: