Как считать случаи текста в файле?

Можно использовать cut и uniq инструменты:

cut -d ' ' -f1 test.txt  | uniq -c
      5 5.135.134.16
      9 13.57.220.172
      1 13.57.233.99
      2 18.206.226.75
      3 18.213.10.181

Объяснение:

• cut -d ' ' -f1 : извлеките первое поле (IP-адрес)
• uniq -c : сообщите о повторенных строках и отобразите количество происшествий

Если бы Вы конкретно не требуете данного выходного формата, то я уже рекомендовал бы отправленный cut + uniq основанный ответ

При реальной необходимости в данном выходном формате однопроходный способ сделать это в Awk был бы

awk '{c[$1]++} END{for(i in c) print i, "count: " c[i]}' log

Это несколько неидеально, когда вход уже отсортирован, так как он излишне хранит всего дюйм/с в память - лучшее, хотя более сложный, способ сделать это в предварительно отсортированном случае (более непосредственно эквивалентный uniq -c) был бы:

awk '
  NR==1 {last=$1} 
  $1 != last {print last, "count: " c[last]; last = $1} 
  {c[$1]++} 
  END {print last, "count: " c[last]}
'

Напр.

$ awk 'NR==1 {last=$1} $1 != last {print last, "count: " c[last]; last = $1} {c[$1]++} END{print last, "count: " c[last]}' log
5.135.134.16 count: 5
13.57.220.172 count: 9
13.57.233.99 count: 1
18.206.226.75 count: 2
18.213.10.181 count: 3

Вот одно возможное решение:

IN_FILE="file.log"
for IP in $(awk '{print $1}' "$IN_FILE" | sort -u)
do
    echo -en "${IP}\tcount: "
    grep -c "$IP" "$IN_FILE"
done

• замена file.log с фактическим именем файла.
• выражение замены команды $(awk '{print $1}' "$IN_FILE" | sort -u) предоставит список уникальных значений первого столбца.
• затем grep -c будет считать каждое из этих значений в файле.

$ IN_FILE="file.log"; for IP in $(awk '{print $1}' "$IN_FILE" | sort -u); do echo -en "${IP}\tcount: "; grep -c "$IP" "$IN_FILE"; done
13.57.220.172   count: 9
13.57.233.99    count: 1
18.206.226.75   count: 2
18.213.10.181   count: 3
5.135.134.16    count: 5

Некоторый Perl:

$ perl -lae '$k{$F[0]}++; }{ print "$_ count: $k{$_}" for keys(%k)' log 
13.57.233.99 count: 1
18.206.226.75 count: 2
13.57.220.172 count: 9
5.135.134.16 count: 5
18.213.10.181 count: 3

Это - та же идея как подход awk Steeldriver, но в Perl. -a жемчуг причин для автоматического разделения каждой входной строки на массив @F, чей первый элемент (IP) $F[0]. Так, $k{$F[0]}++ создаст хеш %k, чьими ключами является дюйм/с и чьи значения являются количеством раз, каждый IP был замечен. }{ броский perlspeak для, "делают остальных в самом конце, после обработки всего входа". Так, в конце сценарий выполнит итерации по ключам хеша и распечатает текущий ключ ($_) наряду с его значением ($k{$_}).

И, просто таким образом, люди не думают, что жемчуг вынуждает Вас записать сценарий, которые похожи на загадочные наброски, это - то же самое в менее сжатой форме:

perl -e '
  while (my $line=<STDIN>){
    @fields = split(/ /, $line);
    $ip = $fields[0];
    $counts{$ip}++;
  }
  foreach $ip (keys(%counts)){
    print "$ip count: $counts{$ip}\n"
  }' < log

Возможно, это не то, что хотят OP; однако, если мы знаем, что длина IP-адреса будет ограничена 15 символами, более быстрый способ отобразить количества с уникальным дюйм/с от огромного файла журнала может быть достигнут с помощью uniq одна только команда:

$ uniq -w 15 -c log

5 5.135.134.16 - - [23/Mar/2019:08:42:54 -0400] ...
9 13.57.220.172 - - [23/Mar/2019:11:01:05 -0400] ...
1 13.57.233.99 - - [23/Mar/2019:04:17:45 -0400] ...
2 18.206.226.75 - - [23/Mar/2019:21:58:07 -0400] ...
3 18.213.10.181 - - [23/Mar/2019:14:45:42 -0400] ...

Опции:

-w N выдерживает сравнение не больше, чем N символы в строках

-c снабдит префиксом строки количеством случаев

С другой стороны, Для точного отформатированного вывода я предпочитаю awk (должен также работать на адреса IPv6), ymmv.

$ awk 'NF { print $1 }' log | sort -h | uniq -c | awk '{printf "%s count: %d\n", $2,$1 }'

5.135.134.16 count: 5
13.57.220.172 count: 9
13.57.233.99 count: 1
18.206.226.75 count: 2
18.213.10.181 count: 3

Отметьте это uniq не обнаружит повторенные строки во входном файле, если они не будут смежны, таким образом, это может быть необходимо для sort файл.

FWIW, Python 3:

from collections import Counter

with open('sample.log') as file:
    counts = Counter(line.split()[0] for line in file)

for ip_address, count in counts.items():
    print('%-15s  count: %d' % (ip_address, count))

Вывод:

13.57.233.99     count: 1
18.213.10.181    count: 3
5.135.134.16     count: 5
18.206.226.75    count: 2
13.57.220.172    count: 9

cut -f1 -d- my.log | sort | uniq -c

Объяснение: Возьмите первое поле разделения my.log на тире - и вид это. uniq потребности отсортировали вход. -c говорит этому считать случаи.