Как группировать переменные по временному интервалу? [закрыто]

Мы можем сделать это полностью использование только awk:

awk -F, 'BEGIN{print"\"Time Interval\",\"Count of Sources\""}NR>1{gsub(/"/,"",$2);h=int($2/10000)*10000;m=int(($2-h)/3000)*3000;ctr[h+m]++}END{n=asorti(ctr,idx);for(i=1;i<=n;i++){print "\""idx[i]"\",\""ctr[idx[i]]"\""}}' fb.csv

Для Вашего данного входного файла fb.csv это приводит к выводу

"120000","4"
"123000","7"
"130000","8"
"133000","5"
"140000","7"

Важный: Это требует GNU AWK (gawk) работать, потому что это использует asorti(...) функция для сортировки ассоциативных массивов их индексами. Это не работает с mawk. Можно узнать значение по умолчанию awk версия с использованием awk -Wv.

Объяснение команды:

Мы работаем awk как это здесь, устанавливая разделителя полей, который разграничивает столбцы к , и использование файла fb.csv как введено:

awk -F, '<COMMAND>' fb.csv

awk команда (заполнитель <COMMAND> выше), это, после надлежащего форматирования:

BEGIN {
    print "\"Time Interval\",\"Count of Sources\""
}
NR>1 {
    gsub(/"/, "", $2)
    h = int($2 / 10000) * 10000
    m = int(($2-h) / 3000) * 3000
    ctr[h+m]++
}
END {
    n = asorti(ctr, idx)
    for(i=1; i<=n; i++) {
        print "\"" idx[i] "\",\"" ctr[idx[i]] "\""
    }
}

Это выглядит ужасно сложным (и я не могу отклонить это, требуется некоторая мысль для понимания), таким образом, я попытаюсь разбить его немного:

BEGIN { ... } блок кода будет выполняться однажды, первая строка входа из файла читается. Затем для каждого, но первой строки ("номер строки, больше, чем 1"), NR>1 { ... } блок выполняется. Наконец после того, как весь вход читается, END { ... } блок будет работать.

• Теперь BEGIN блок довольно прост, он только печатает новую строку заголовка CSV.

• Давайте посмотрим на NR>1 блок. Помните это awk разделения каждая строка в поля, которые были разделены разделителем полей (тот мы устанавливаем на , использование -F аргумент). Первый столбец/поле будет сохранен в переменной $1, второе в $2 и так далее. Мы только интересуемся значением второго поля, которое содержит время.

  Используя gsub(<PATTERN>, <REPLACEMENT>, <VARIABLE>) функция, мы заменяем все случаи <PATTERN> (регулярное выражение включило в наклонные черты, здесь оно просто соответствует только кавычкам) с a <REPLACEMENT> (пустой, поскольку мы хотим удалить их), строка в <VARIABLE> ($2 т.е. второй зарегистрированный, содержащий время здесь).

  Затем мы декодируем метку времени в целые целые часы h (умноженный с 10 000) и целое полчаса m (без целых часов; умноженный с 3 000). Мы используем ассоциативный массив ctr как счетчик как часто округленная метка времени h+m происходит во входе.

• Наконец в END блок, мы распечатываем значения счетчика, отсортированные по округленным индексам метки времени.