Получить уникальные строки из журнала, используя grep и tail

Question 1

У меня есть следующий файл журнала. Я хочу извлечь последние 10 уникальных записей из этого файла. Можно ли это сделать с помощью grep и tail?

2016-04-18 10:13:11,925 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.7088348025036650 on 711b3fb7d875:80
2016-04-18 10:13:12,383 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.9277403071419588 on 711b3fb7d875:80
2016-04-18 10:13:14,000 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.5617050735043505 on 711b3fb7d875:80
2016-04-18 10:13:18,305 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.3502119403604215 on 711b3fb7d875:80
2016-04-18 10:13:25,571 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.1448386101904803 on 711b3fb7d875:80
2016-04-18 10:13:42,529 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.6017618280263232 on 711b3fb7d875:80
2016-04-18 10:21:20,257 (glastopf.glastopf) 150.70.188.165 requested GET / on 711b3fb7d875:80
2016-04-18 10:35:27,775 (glastopf.glastopf) 150.70.173.55 requested GET / on 711b3fb7d875:80
2016-04-18 10:44:21,799 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.8457383350172993 on 711b3fb7d875:80
2016-04-18 10:44:23,550 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.2291251627482913 on 711b3fb7d875:80
2016-04-18 10:44:24,885 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.9121516725350658 on 711b3fb7d875:80
2016-04-18 10:44:28,611 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.6517709326810913 on 711b3fb7d875:80
2016-04-18 10:44:36,656 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.3339893597346100 on 711b3fb7d875:80
2016-04-18 10:44:52,579 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.9653746532564283 on 711b3fb7d875:80
2016-04-18 11:07:15,576 (glastopf.glastopf) 204.12.196.236 requested GET / on 711b3fb7d875:80
2016-04-18 11:14:46,990 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.6323574164650954 on 711b3fb7d875:80
2016-04-18 11:14:49,798 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.1343994230148844 on 711b3fb7d875:80
2016-04-18 11:14:50,923 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.2092851733275502 on 711b3fb7d875:80
2016-04-18 11:14:54,015 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.6364011485956100 on 711b3fb7d875:80
2016-04-18 11:15:02,021 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.2105667716533854 on 711b3fb7d875:80
2016-04-18 11:15:17,763 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.5330510476532333 on 711b3fb7d875:80
2016-04-18 11:45:51,204 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.7162577798366348 on 711b3fb7d875:80
2016-04-18 11:45:51,456 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.4097472747050946 on 711b3fb7d875:80
2016-04-18 11:45:53,562 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.0435891326571879 on 711b3fb7d875:80
2016-04-18 11:45:57,368 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.9764200678378154 on 711b3fb7d875:80
2016-04-18 11:46:05,598 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.2539390798717596 on 711b3fb7d875:80
2016-04-18 11:53:59,103 (glastopf.glastopf) 150.70.173.9 requested GET / on 711b3fb7d875:80
2016-04-18 12:16:07,343 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.0022258971071879 on 711b3fb7d875:80
2016-04-18 12:16:07,411 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.6543056525672964 on 711b3fb7d875:80
2016-04-18 12:16:09,210 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.0771392409002968 on 711b3fb7d875:80
2016-04-18 12:16:21,475 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.4621648610735409 on 711b3fb7d875:80
2016-04-18 12:16:37,413 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.1810763849106982 on 711b3fb7d875:80
2016-04-18 12:46:31,160 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.0759114015016254 on 711b3fb7d875:80
2016-04-18 12:46:33,023 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.9823929541441208 on 711b3fb7d875:80
2016-04-18 12:46:42,262 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.1670975464416704 on 711b3fb7d875:80
2016-04-18 12:46:44,977 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.3061602425336546 on 711b3fb7d875:80
2016-04-18 12:47:00,555 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.5692431772822398 on 711b3fb7d875:80
2016-04-18 12:50:34,078 (glastopf.glastopf) 150.70.188.178 requested GET / on 711b3fb7d875:80

Так что в основном я хочу, чтобы последние 10 уникальных записей журнала идентифицировались по уникальным IP-адресам.

РЕДАКТИРОВАТЬ. Пример двух последних уникальных записей:

2016-04-18 12:47:00,555 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.5692431772822398 on 711b3fb7d875:80
2016-04-18 12:50:34,078 (glastopf.glastopf) 150.70.188.178 requested GET / on 711b3fb7d875:80

Question 2

Используя sort с небольшим количеством справки от tac:

sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2

Для получения последними 10 записей отправьте к tail -10 в конце:

sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2 | tail -10

-k опция sort позволила нам sort разделенным полевым числом пространства, поскольку ключ
tac инвертирует строки входного содержания т.е. в последний раз идет сначала и сначала идет в последний раз; это необходимо, поскольку sort -u произведет первую запись как уникальную, в то время как использование ключевого мудрого sort т.е. не все строки имеет подобное содержание, но они соответствуют на определенном полевом

Примере:

$ sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2
2016-04-18 10:21:20,257 (glastopf.glastopf) 150.70.188.165 requested GET / on 711b3fb7d875:80
2016-04-18 10:35:27,775 (glastopf.glastopf) 150.70.173.55 requested GET / on 711b3fb7d875:80
2016-04-18 11:07:15,576 (glastopf.glastopf) 204.12.196.236 requested GET / on 711b3fb7d875:80
2016-04-18 11:53:59,103 (glastopf.glastopf) 150.70.173.9 requested GET / on 711b3fb7d875:80
2016-04-18 12:47:00,555 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.5692431772822398 on 711b3fb7d875:80
2016-04-18 12:50:34,078 (glastopf.glastopf) 150.70.188.178 requested GET / on 711b3fb7d875:80

Question 3

Question 4

uniq команда может использоваться для устранения всех последовательных строк, которые идентичны полностью или частично. По умолчанию это только воздействует на целые строки. Таким образом, если в файле у Вас есть несколько идентичных последовательных строк, uniq удаляет дубликаты.

$ cat foo.txt 
foo
foo
foo
bar
baz
baz
foo
foo
$ uniq foo.txt 
foo
bar
baz
foo

Для удаления всех дублирующихся строк, даже непоследовательных, за этим можно бежать sort:

$ sort foo.txt | uniq
bar
baz
foo

Некоторые флаги могут использоваться, чтобы только рассмотреть одну часть строки при определении дубликатов. Здесь мы хотим рассмотреть только IP-адреса, которые находятся в четвертом столбце, поэтому сначала мы должны сказать uniq для игнорирования первых трех столбцов это, покончили -f флаг. И после этого мы должны сказать этому только рассматривать IP-адреса. Этот может быть хитрым, потому что мы можем только сказать это considet постоянное число символов (с -w флаг), но IP-адреса могут варьироваться по длине. К счастью, здесь это не проблема, потому что IP-адреса всегда сопровождаются requested, таким образом, даже если первые несколько символов этого слова будут включены в сравнение, то оно не будет иметь никакого эффекта на то, обнаруживается ли строка правильно как дубликат. В конце, применяясь uniq -f 3 - w 15 к входу, кажется, приводит к желаемому результату.

Одна дополнительная вещь отметить состоит в том, что, когда мы только рассматриваем одну часть строк в обнаружении дубликатов, все строки в группе "дубликатов" не должны быть совершенно идентичными, и таким образом, мы должны решить, какой будет распечатан в выводе. uniq печатает первый, но может быть сделан распечатать последний первым прокручиванием входа tac.

heemayl · Accepted Answer · 19 April 2016 в 03:22

Используя sort с небольшим количеством справки от tac:

sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2

Для получения последними 10 записей отправьте к tail -10 в конце:

sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2 | tail -10

-k опция sort позволила нам sort разделенным полевым числом пространства, поскольку ключ
tac инвертирует строки входного содержания т.е. в последний раз идет сначала и сначала идет в последний раз; это необходимо, поскольку sort -u произведет первую запись как уникальную, в то время как использование ключевого мудрого sort т.е. не все строки имеет подобное содержание, но они соответствуют на определенном полевом

Примере:

$ sort -k4,4 file.log | tac | sort -uk4,4 | sort -k1,2
2016-04-18 10:21:20,257 (glastopf.glastopf) 150.70.188.165 requested GET / on 711b3fb7d875:80
2016-04-18 10:35:27,775 (glastopf.glastopf) 150.70.173.55 requested GET / on 711b3fb7d875:80
2016-04-18 11:07:15,576 (glastopf.glastopf) 204.12.196.236 requested GET / on 711b3fb7d875:80
2016-04-18 11:53:59,103 (glastopf.glastopf) 150.70.173.9 requested GET / on 711b3fb7d875:80
2016-04-18 12:47:00,555 (glastopf.glastopf) 115.239.248.245 requested GET http://zc.qq.com/cgi-bin/common/attr?id=260714&r=0.5692431772822398 on 711b3fb7d875:80
2016-04-18 12:50:34,078 (glastopf.glastopf) 150.70.188.178 requested GET / on 711b3fb7d875:80

fkraiem · Answer 2 · 19 April 2016 в 03:22

uniq команда может использоваться для устранения всех последовательных строк, которые идентичны полностью или частично. По умолчанию это только воздействует на целые строки. Таким образом, если в файле у Вас есть несколько идентичных последовательных строк, uniq удаляет дубликаты.

$ cat foo.txt 
foo
foo
foo
bar
baz
baz
foo
foo
$ uniq foo.txt 
foo
bar
baz
foo

Для удаления всех дублирующихся строк, даже непоследовательных, за этим можно бежать sort:

$ sort foo.txt | uniq
bar
baz
foo

Некоторые флаги могут использоваться, чтобы только рассмотреть одну часть строки при определении дубликатов. Здесь мы хотим рассмотреть только IP-адреса, которые находятся в четвертом столбце, поэтому сначала мы должны сказать uniq для игнорирования первых трех столбцов это, покончили -f флаг. И после этого мы должны сказать этому только рассматривать IP-адреса. Этот может быть хитрым, потому что мы можем только сказать это considet постоянное число символов (с -w флаг), но IP-адреса могут варьироваться по длине. К счастью, здесь это не проблема, потому что IP-адреса всегда сопровождаются requested, таким образом, даже если первые несколько символов этого слова будут включены в сравнение, то оно не будет иметь никакого эффекта на то, обнаруживается ли строка правильно как дубликат. В конце, применяясь uniq -f 3 - w 15 к входу, кажется, приводит к желаемому результату.

Одна дополнительная вещь отметить состоит в том, что, когда мы только рассматриваем одну часть строк в обнаружении дубликатов, все строки в группе "дубликатов" не должны быть совершенно идентичными, и таким образом, мы должны решить, какой будет распечатан в выводе. uniq печатает первый, но может быть сделан распечатать последний первым прокручиванием входа tac.

Получить уникальные строки из журнала, используя grep и tail

2 ответа

Другие вопросы по тегам:

Похожие вопросы: