Почему интернет-загрузка настолько высока, когда я на самом деле не загружаю много?
Общая ежемесячная пропускная способность Интернета
Я использую vnstat для мониторинга использования Интернета:
$ vnstat
rx / tx / total / estimated
eth0:
Jul '17 210.70 GiB / 51.00 GiB / 261.71 GiB
Aug '17 275.79 GiB / 70.54 GiB / 346.33 GiB / 348.91 GiB
yesterday 5.47 GiB / 2.08 GiB / 7.55 GiB
today 2.89 GiB / 1.36 GiB / 4.26 GiB / 5.52 GiB
wlan0:
Jul '17 0 KiB / 0 KiB / 0 KiB
Aug '17 0 KiB / 0 KiB / 0 KiB / 0 KiB
yesterday 0 KiB / 0 KiB / 0 KiB
today 0 KiB / 0 KiB / 0 KiB / --
Я перешел на интернет-провайдеры 6 месяцев назад, а новый интернет-провайдер придирчив к общему ежемесячному использованию заставляя меня уделять более пристальное внимание статистике.
Использование в режиме реального времени в Интернете
Я проверил параметры мониторинга в Ask Ubuntu, а точки ответа на nethogs, которые сообщают только KB / Sec, процесс, который неизбежно является Firefox или Chrome, о которых сообщается в KB / Sec:
Это не помогает, потому что я уже знаю, что использую Chrome и Firefox. Вопрос: «Какую вкладку?» или это даже вкладка? Обратите внимание, что есть процессы, выполняемые как root? Я никогда не использую sudo с Chrome или Firefox.
Исследовательские 5W загрузок данных
Есть 5 W:
Кто загружает 70 ГБ данных с моего ноутбука каждый месяц? Я ежедневно делаю резервное копирование на gmail.com, который содержит 5,4 МБ сценариев, документов, настроек конфигурации и что нет. Это 150 МБ в месяц. Кто захватывает другие 69 ГБ? Какая программа захватывает эти данные? Я не могу использовать один идентификатор процесса для Chrome или Firefox в качестве ответа. Мне нужно знать вкладку, которая указывает на веб-сайт. Я не могу использовать root и некоторый случайный IP-адрес в качестве ответа. Куда идут эти данные? т.е. IP-адрес. Когда это происходит? Это когда я смотрю фильм? Просмотр интернет-новостей в Аль-Джазире или RT? Какой-то пузырь уведомлений при увеличении громкости будет приятным. Зачем? Мне не нужен ответ на этот вопрос. Остальных 4 Вт хватит. Это может быть Vault 7, или это может быть не так. Вы не можете подать в суд на ЦРУ, и если вы не можете победить, вы должны просто заблокировать их.Ежедневные интернет-привычки
В Интернете есть только шесть вещей, которые я ежедневно делаю в Интернете:
Кто загружает 70 ГБ данных с моего ноутбука каждый месяц? Я ежедневно делаю резервное копирование на gmail.com, который содержит 5,4 МБ сценариев, документов, настроек конфигурации и что нет. Это 150 МБ в месяц. Кто захватывает другие 69 ГБ? Смотреть онлайн-телевидение Al-Jazeera.com, использующее HTML5 на youtube.com . Какая программа захватывает эти данные? Я не могу использовать один идентификатор процесса для Chrome или Firefox в качестве ответа. Мне нужно знать вкладку, которая указывает на веб-сайт. Я не могу использовать root и некоторый случайный IP-адрес в качестве ответа. Ежедневное резервное копирование моих сценариев, документов и файлов конфигурации по электронной почте на мою учетную запись gmail.com, а файл .tar - 5.4 МБ. Куда идут эти данные? т.е. IP-адрес. Поиск Google и посещение веб-сайтов для исследования технических проблем Linux / Ubuntu.Резюме
Я знаком с Shift + Esc в Chrome, чтобы отслеживать статистику сети в реальном времени с помощью вкладки Chrome, но что-то, что работает в фоновом режиме, собирает статистику.
Я не запускал Windows 8.1 в течение месяца, поэтому загрузки там не происходит. Это все в Linux / Ubuntu.
Что я могу сделать, чтобы сузить мой поиск массивных загрузок?
Спасибо за то, что вы читаете это далеко.
6 ответов
Примечание. Этот ответ касается только некоторых из желаемых «Загружаемых данных 5W».
Используйте tcpdump для захвата всего трафика пакетов и используйте некоторую пост-обработку для извлечения желаемой информации. [!d1 ]
sudo tcpdump -i enp4s0 -w 'ext-%F-%H-%M-%S.bin' -G 3600 -z /home/doug/bin/packet_post_processor2
Где: мой интерфейс интерфейса WAN - enp4s0; Имена файлов автоматически включают дату и время (требуется дополнительный пакет, но я не могу вспомнить, какой); Я прошу вращения файлов один раз в час;
Скрипт пост-обработки:
#!/bin/dash
#
# packet_post_processor2 Doug Smythies. 2017.09.08
# Edits as required for updated c prgram, and bad sort order.
# There may be little use in sort by packets count, but for now
# it remians.
#
# packet_post_processor2 Doug Smythies. 2017.09.01
# This script will be called from the always running tcpdump.
# It is called for every binary file rotation.
# The purpose is to make summary files of things that one
# may want to investigate in more detail later on.
#
# This version is for WinEunuuchs2Unix and
# https://askubuntu.com/questions/951783/how-to-find-out-who-is-taking-70-gb-of-data-from-me-each-month
#
#check that the call included the file name, and only the file name, to use.
if [ $# -ne 1 ]
then
echo "Usage - $0 file-name"
exit 1
fi
# check that the file actually exists:
if [ ! -f $1 ]
then
echo "tcpdump binary file $1 does not exist, aborting..."
exit 1
fi
echo "data extraction 1: All the packets..."
# Note: Using the -e option will ease subsequent bytes per unit time calculations
sudo tcpdump -n -tttt -e -r $1 >all_e.txt
echo "data extraction 2: The outgoing normal packets..."
# Note: We might want to check that something important doesn't get missed here.
# Note: replace the fake IP address with your actual IP address.
grep ": XXX\.XXX\.XXX\.XXX\." all_e.txt | grep Flags >outgoing.txt
echo "data extraction 3: Make a histogram of the destination IP addresses by packets..."
# Note: use field 13
cut -d" " -f13 outgoing.txt | sed 's/.[^.]*$//' | sort | uniq -c | sort -g >outhisto.txt
# Phase 2: Maximum packet count might not mean maximum byte count, so figure out maximum byte count
echo "data extraction 4: Sort the outgoing file by destination IP address."
LC_ALL=C sort -k 13 <outgoing.txt >outgoing.srt
echo "data extraction 5: Now, calculate bytes per IP and bytes per IP/16 and make sorted historgrams"
# Note: There might be some clever awk or whatever way to do this, but I have a c program.
./tcpdump_bytes outgoing.srt outb.txt out16.txt
sort --general-numeric-sort <outb.txt >outhistob.txt
sort --general-numeric-sort <out16.txt >outhistob16.txt
#Leave the intermidiate files, just for now, while we debug.
#
# packet_post_process. End.
Программа c, вызванная внутри скрипта, была обработана сценарием packet_post_processor (2 для этого ответа).
:
/*****************************************************************************
*
* tcpdump_bytes.c 2017.09.08 Smythies
* By sorting the input file before running this program, it can do bytes
* per IP all on its own, and in one pass through the file. At this time,
* it is for outgoing only. A future revision will add command line
* options for incoming and such.
* Might as well group by 1st 2 IP address bytes at the same time,
* i.e. for some (not all) of those multiple IP situations.
*
* tcpdump_bytes.c 2017.09.01 Smythies
* Count the bytes for all the packets in the passed file.
* See also tcpdump_extract.c, from which this was taken.
* This program is very quite, just printing bytes, unless there
* is some error. The idea is that is part of something bigger and
* therefore extra verbosity would just get in the way.
*
* Note: The input tcpdump file needs to have been done
* with the -e option.
*
*****************************************************************************/
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define MAX_LENGTH 2000 /* maximum line length */
void main(int argc, char **argv){
char in_buffer[MAX_LENGTH];
char *infile, *outfile1, *outfile2;
char *index, *index2;
FILE *inf, *out1, *out2;
unsigned current_bytes, sip3, sip2, sip1, sip0, sport, dip3, dip2, dip1, dip0, dport;
unsigned dest_ip, dest_ip_16, dest_ip_old, dest_ip_16_old;
unsigned num_lines, num_ips, num_16s;
unsigned long long total_bytes, total_bytes_16;
switch(argc){
case 4:
infile = argv[1];
outfile1 = argv[2];
outfile2 = argv[3];
break;
default:
printf("tcpdump_bytes infile outfile1 outfile2\n");
printf(" parse outgoing bytes per IP out of a sorted tcpdump file where the -e option was used.\n");
printf(" infile is sorted tcpdump output file; oufile1 is bytes per IP; outfile 2 is bytes per IP/16.\n");
exit(-1);
} /* endcase */
if((inf = fopen(infile, "rt")) == NULL){
printf("Unable to open input file '%s'\n", infile);
exit(-1);
} /* endif */
if((out1 = fopen(outfile1, "wt")) == NULL){
printf("Error opening output file '%s'\n", outfile1);
exit(-1);
} /* endif */
if((out2 = fopen(outfile2, "wt")) == NULL){
printf("Error opening output file '%s'\n", outfile2);
exit(-1);
} /* endif */
total_bytes = 0;
total_bytes_16 = 0;
dest_ip_old = 0;
dest_ip_16_old = 0;
num_lines = 0;
num_ips = 0;
num_16s = 0;
while((fgets(in_buffer, MAX_LENGTH, inf)) != NULL){ /* do infile line at a time */
num_lines++;
if((index = strstr(in_buffer, "), length ")) != NULL){ /* find search string if it is there, then parse the data */
sscanf(index, "), length %u: %u.%u.%u.%u.%u > %u.%u.%u.%u.%u:",
¤t_bytes,
&sip3, &sip2, &sip1, &sip0,
&sport,
&dip3, &dip2, &dip1, &dip0,
&dport);
} else {
printf("tcpdump_bytes: Got an odd line: %s", in_buffer);
} /* endif */
dest_ip_16 = (dip3 << 24) + (dip2 << 16);
dest_ip = dest_ip_16 + (dip1 << 8) + dip0;
// printf("debug: B: %u S: %u.%u.%u.%u.%u D: %u.%u.%u.%u.%u %u %u\n", current_bytes, sip3, sip2, sip1, sip0, sport, dip3, dip2, dip1, dip0, dport, dest_ip, dest_ip_16);
if(dest_ip != dest_ip_old){
if(total_bytes != 0){
fprintf(out1, "%llu %u.%u.%u.%u\n", total_bytes, (dest_ip_old >> 24) & 0xff, (dest_ip_old >> 16) & 0xff, (dest_ip_old >> 8) & 0xff, dest_ip_old & 0xff);
total_bytes = 0;
} /* endif */
dest_ip_old = dest_ip;
num_ips++;
} /* endif */
total_bytes = total_bytes + (unsigned long long) current_bytes;
if(dest_ip_16 != dest_ip_16_old){
if(total_bytes_16 != 0){
fprintf(out2, "%llu %u.%u.0.0/16\n", total_bytes_16, (dest_ip_16_old >> 24) & 0xff, (dest_ip_16_old >> 16) & 0xff);
total_bytes_16 = 0;
} /* endif */
dest_ip_16_old = dest_ip_16;
num_16s++;
} /* endif */
total_bytes_16 = total_bytes_16 + (unsigned long long) current_bytes;
} /* endwhile */
/* don't forget to output the last data */
if(total_bytes != 0){
fprintf(out1, "%llu %u.%u.%u.%u\n", total_bytes, dip3, dip2, dip1, dip0);
} else {
printf("tcpdump_bytes: Something is wrong. Last IP address has no bytes.\n");
} /* endif */
if(total_bytes_16 != 0){
fprintf(out2, "%llu %u.%u.0.0/16\n", total_bytes_16, dip3, dip2);
} else {
printf("tcpdump_bytes: Something is wrong. Last IP/16 address has no bytes.\n");
} /* endif */
fclose(inf);
fclose(out1);
fclose(out2);
printf("tcpdump_bytes: Done. Processed %d lines and %d IP addresses and %d /16 addresses\n", num_lines, num_ips, num_16s);
} /* endprogram */
Обратите внимание, что некоторые файлы будут сбиты с последующей обработкой часов. Я позабочусь об этом позже.
Краткое описание того, что делает скрипт пост-обработки: Сначала двоичный файл tcpdump преобразуется в текст сводок пакетов. Пример (мой адрес был изменен на XXX.XXX.XXX.XXX):
2017-05-31 08:10:31.721956 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype IPv4 (0x0800), length 400: XXX.XXX.XXX.XXX.52779 > 38.113.165.77.443: Flags [P.], seq 1:347, ack 1, win 256, length 346
2017-05-31 08:10:31.826241 6c:be:e9:a7:f1:07 > 00:22:b0:75:c2:bd, ethertype IPv4 (0x0800), length 157: 38.113.165.77.443 > XXX.XXX.XXX.XXX.52779: Flags [P.], seq 1:104, ack 347, win 1026, length 103
2017-05-31 08:10:31.877945 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype IPv4 (0x0800), length 54: XXX.XXX.XXX.XXX.52779 > 38.113.165.77.443: Flags [.], ack 104, win 256, length 0
2017-05-31 08:10:32.603768 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype ARP (0x0806), length 42: Request who-has XXX.XXX.XXX.YYY tell XXX.XXX.XXX.XXX, length 28
2017-05-31 08:10:32.630960 6c:be:e9:a7:f1:07 > 00:22:b0:75:c2:bd, ethertype ARP (0x0806), length 60: Reply XXX.XXX.XXX.YYY is-at 6c:be:e9:a7:f1:07, length 46
2017-05-31 08:10:33.643468 00:90:d0:63:ff:00 > 01:00:5e:00:00:01, ethertype IPv4 (0x0800), length 60: 10.197.248.13 > 224.0.0.1: igmp query v2
2017-05-31 08:10:37.448732 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype IPv4 (0x0800), length 90: XXX.XXX.XXX.XXX.53120 > 91.189.89.199.123: NTPv4, Client, length 48
Целесообразно, чтобы в примере была включена пара пакетов ARP, поэтому покажите что-то, что будет исключено из дальнейшая обработка. Досадный пакет IGMP от частного IP-адреса от моего провайдера и также будет исключен из дальнейшей обработки. Однако, если мой интернет-провайдер когда-либо утверждает, что я перешел на мой лимит ежемесячных данных, я укажу на такие пакеты, когда скажу, за что я не буду платить. Обратите внимание на две длины, показанные на каждой строке, первая - это байты на проводе, а вторая - длина полезной нагрузки. Нам нужны байты на проводе, поэтому мы используем параметр -e с tcpdump.
Во-вторых, исходящий пакет можно однозначно идентифицировать, набрав «: XXX.XXX. XXX.XXX. ", Поэтому извлеките все исходящие пакеты, не включая ARP и ICMP, используя grep.
В-третьих, используя пробел в качестве разделителя, поле 13 является IP-адресом назначения, поэтому используйте сложную группу (! d17)
Forth, сортировать исходящие пакеты по IP-адресу назначения. В-пятых, используйте программу c для вычисления байтов на каждый IP и байты на IP / 16 и сортировать вывод в гистограммы.
В-шестых, вручную исследуйте верхние IP-адреса в попытке определить, что происходит. Обратите внимание, что очень часто можно найти связанный запрос прямого поиска DNS в выводе tcpdump.
В качестве примера я просмотрел данные WAN / LAN между 2017-05-31 08:09:33 и 2017 -08-09 22:13:11 и отредактировал то, что я нашел для различных IP-адресов. Сначала наивысшее количество пакетов:
packets IP Address Added Comment
299517 91.189.95.84 Ubuntu stuff
301129 198.38.112.140 Netflix
306815 17.253.31.206 Apple stuff
319558 129.97.134.71 Ubuntu stuff (mirror, I think)
333334 91.189.88.152 Ubuntu stuff
352141 91.189.88.39 Ubuntu stuff
353160 209.121.139.153 Telus (Microsoft updates streaming)
368669 209.121.139.163 Telus (Microsoft updates streaming)
389928 91.189.88.161 Ubuntu stuff
396087 23.60.74.158 deploy.static.akamaitechnologies.com (?)
421259 198.38.112.170 Netflix
474506 17.253.31.205 Apple stuff
477706 198.38.109.153 Netflix
480452 198.38.112.159 Netflix
540261 198.38.112.173 Netflix
574592 198.38.112.132 Netflix
710022 198.38.112.174 Netflix
728434 209.121.139.144 Telus (Microsoft updates streaming)
738839 198.38.112.130 Netflix
883688 198.38.109.171 Netflix
1049778 198.38.112.154 Netflix
2166582 72.21.81.200 Hmmmm ? MCI Communications Services, (Skype, I think)
7512548 13.107.4.50 Microsoft (updates)
Во-вторых, число из нескольких байтов:
Bytes IP Added Comment
32358580 17.253.31.205 Apple stuff
32625068 198.38.112.159 Netflix
34220805 172.217.3.206 Google web crawler
36628021 198.38.112.173 Netflix
37022702 17.188.208.132 Apple stuff
39105254 198.38.112.132 Netflix
40697177 209.121.139.144 Telus Microsoft updates file streaming
48247623 198.38.112.174 Netflix
49537980 64.4.54.254 Microsoft
50358753 198.38.112.130 Netflix
59623846 198.38.109.171 Netflix
71532166 198.38.112.154 Netflix
98480036 207.167.198.18 Telus e-mail stuff
139907010 72.21.81.200 Hmmmm ? MCI Communications Services, (Skype, I think)
210138801 91.189.95.84 Ubuntu stuff
325511064 204.79.197.213 Microsoft (?) msedge.net storage.skyprod.akadns.net
479586878 13.107.4.50 Microsoft (updates)
Обратите внимание, как, например, Netflix использует много IP-адресов , он может упасть ниже в рейтинге, чем это должно было бы быть, если бы все его IP-адреса рассматривались как один.
В-третьих, подсчеты из числа наивысших / 16 групп по байтам. Обратите внимание, что Netflix теперь самый большой:
107592753 209.52.0.0/16 cache.google.com (for example)
116538884 207.167.0.0/16 Telus e-mail stuff
120769715 17.188.0.0/16 Apple. store-025-failover2.blobstore-apple.com.akadns.net (for example)
139261655 52.218.0.0/16 s3-us-west-2.amazonaws.com (for example) ? Hmmm...
147091123 172.217.0.0/16 Google web crawler
153146532 17.248.0.0/16 p46-keyvalueservice.fe.apple-dns.net. Apple iCloud Drive
183300509 72.21.0.0/16 Skype (I think)
213119564 209.121.0.0/16 Telus Microsoft updates file streaming
333374588 204.79.0.0/16 Microsoft
354346088 91.189.0.0/16 Ubuntu stuff
488793579 13.107.0.0/16 Microsoft (updates)
621733032 198.38.0.0/16 Netflix
-
1/bin/dash должно быть /bin/bash возможно? Вдоль того же жила 2017.08.01 должно быть 2017.09.01? Я не использовал C через 20 лет и не знаю, как захватываются исходящие пакеты и IP-адреса. Но я думал, что, возможно, MySQL будет правильным методом для регистрации трафика в течение нескольких лет? Сегодня я оцениваю некоторые 3 ТБ hdds для моего ноутбука 2-го отсека. Я надеюсь, что база данных может указывать имя, связанное с IP-адресом, а не вводить его вручную. Может быть, есть команда whois где-то? Я понял, что сайт нарушает работу с помощью команды vnstat -l: rt.com/on-the-air (россияне ....). – WinEunuuchs2Unix 2 September 2017 в 04:28
-
2Нет, я стараюсь использовать тире. Дата, да, спасибо. Сейчас я делаю свои большие данные, но занимаю верхние 5000, а не 100. Это займет как минимум на ночь, и я даже перенес данные на свой гораздо более мощный тестовый сервер, а весь исходящий файл 10Gig кэшируется в Память. Я не знаю о MySQL. – Doug Smythies 2 September 2017 в 04:57
-
3О, никогда не слышал о тире, очевидно, производном bash. 10-гигабайтный исходящий файл в ОЗУ должен включать каждый байт, отправленный в день? Я думал только о регистрации IP-адресов и общих байтов не каждый байт! Кроме того, на ноутбуке имеется только 8 ГБ оперативной памяти, и на Ivy Bridge можно обновить до 16 ГБ. Мог зарегистрироваться на SSD, хотя 300 ГБ не используется. Изучение SQL в моем списке дел для крупной бизнес-арены. Я также хочу снова вернуться в C (прошло 20 лет), что делает ваш проект еще более привлекательным. – WinEunuuchs2Unix 2 September 2017 в 05:58
-
4Я заметил, что у Microsoft Updates наибольшее количество пакетов. Означает ли это, что ваша Linux-программа работает в виртуальной коробке в Windows и может контролировать, сколько интернет-трафика потребляют приложения Windows? Я только спрашиваю, потому что я хотел бы, чтобы vnstat отслеживал пропускную способность Интернета, когда я дважды загружался в Windows 8.1. – WinEunuuchs2Unix 3 September 2017 в 02:16
-
5Мои данные с моего главного шлюзового маршрутизатора / межсетевого экрана Ubuntu между WAN и моей локальной сетью. Эти пакеты обновления MS предназначены для различных компьютеров Windows в моей локальной сети. Просто пакеты проходят через мой сервер / маршрутизатор Ubuntu. – Doug Smythies 3 September 2017 в 06:45
Примечание. Этот ответ касается только некоторых из желаемых «Загружаемых данных 5W».
Используйте tcpdump для захвата всего трафика пакетов и используйте некоторую пост-обработку для извлечения желаемой информации.
sudo tcpdump -i enp4s0 -w 'ext-%F-%H-%M-%S.bin' -G 3600 -z /home/doug/bin/packet_post_processor2
Где: мой интерфейс интерфейса WAN - enp4s0; Имена файлов автоматически включают дату и время (требуется дополнительный пакет, но я не могу вспомнить, какой); Я прошу вращения файлов один раз в час;
Скрипт пост-обработки:
#!/bin/dash
#
# packet_post_processor2 Doug Smythies. 2017.09.08
# Edits as required for updated c prgram, and bad sort order.
# There may be little use in sort by packets count, but for now
# it remians.
#
# packet_post_processor2 Doug Smythies. 2017.09.01
# This script will be called from the always running tcpdump.
# It is called for every binary file rotation.
# The purpose is to make summary files of things that one
# may want to investigate in more detail later on.
#
# This version is for WinEunuuchs2Unix and
# https://askubuntu.com/questions/951783/how-to-find-out-who-is-taking-70-gb-of-data-from-me-each-month
#
#check that the call included the file name, and only the file name, to use.
if [ $# -ne 1 ]
then
echo "Usage - $0 file-name"
exit 1
fi
# check that the file actually exists:
if [ ! -f $1 ]
then
echo "tcpdump binary file $1 does not exist, aborting..."
exit 1
fi
echo "data extraction 1: All the packets..."
# Note: Using the -e option will ease subsequent bytes per unit time calculations
sudo tcpdump -n -tttt -e -r $1 >all_e.txt
echo "data extraction 2: The outgoing normal packets..."
# Note: We might want to check that something important doesn't get missed here.
# Note: replace the fake IP address with your actual IP address.
grep ": XXX\.XXX\.XXX\.XXX\." all_e.txt | grep Flags >outgoing.txt
echo "data extraction 3: Make a histogram of the destination IP addresses by packets..."
# Note: use field 13
cut -d" " -f13 outgoing.txt | sed 's/.[^.]*$//' | sort | uniq -c | sort -g >outhisto.txt
# Phase 2: Maximum packet count might not mean maximum byte count, so figure out maximum byte count
echo "data extraction 4: Sort the outgoing file by destination IP address."
LC_ALL=C sort -k 13 <outgoing.txt >outgoing.srt
echo "data extraction 5: Now, calculate bytes per IP and bytes per IP/16 and make sorted historgrams"
# Note: There might be some clever awk or whatever way to do this, but I have a c program.
./tcpdump_bytes outgoing.srt outb.txt out16.txt
sort --general-numeric-sort <outb.txt >outhistob.txt
sort --general-numeric-sort <out16.txt >outhistob16.txt
#Leave the intermidiate files, just for now, while we debug.
#
# packet_post_process. End.
Программа c, вызванная внутри скрипта, была обработана сценарием packet_post_processor (2 для этого ответа).
:
/*****************************************************************************
*
* tcpdump_bytes.c 2017.09.08 Smythies
* By sorting the input file before running this program, it can do bytes
* per IP all on its own, and in one pass through the file. At this time,
* it is for outgoing only. A future revision will add command line
* options for incoming and such.
* Might as well group by 1st 2 IP address bytes at the same time,
* i.e. for some (not all) of those multiple IP situations.
*
* tcpdump_bytes.c 2017.09.01 Smythies
* Count the bytes for all the packets in the passed file.
* See also tcpdump_extract.c, from which this was taken.
* This program is very quite, just printing bytes, unless there
* is some error. The idea is that is part of something bigger and
* therefore extra verbosity would just get in the way.
*
* Note: The input tcpdump file needs to have been done
* with the -e option.
*
*****************************************************************************/
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define MAX_LENGTH 2000 /* maximum line length */
void main(int argc, char **argv){
char in_buffer[MAX_LENGTH];
char *infile, *outfile1, *outfile2;
char *index, *index2;
FILE *inf, *out1, *out2;
unsigned current_bytes, sip3, sip2, sip1, sip0, sport, dip3, dip2, dip1, dip0, dport;
unsigned dest_ip, dest_ip_16, dest_ip_old, dest_ip_16_old;
unsigned num_lines, num_ips, num_16s;
unsigned long long total_bytes, total_bytes_16;
switch(argc){
case 4:
infile = argv[1];
outfile1 = argv[2];
outfile2 = argv[3];
break;
default:
printf("tcpdump_bytes infile outfile1 outfile2\n");
printf(" parse outgoing bytes per IP out of a sorted tcpdump file where the -e option was used.\n");
printf(" infile is sorted tcpdump output file; oufile1 is bytes per IP; outfile 2 is bytes per IP/16.\n");
exit(-1);
} /* endcase */
if((inf = fopen(infile, "rt")) == NULL){
printf("Unable to open input file '%s'\n", infile);
exit(-1);
} /* endif */
if((out1 = fopen(outfile1, "wt")) == NULL){
printf("Error opening output file '%s'\n", outfile1);
exit(-1);
} /* endif */
if((out2 = fopen(outfile2, "wt")) == NULL){
printf("Error opening output file '%s'\n", outfile2);
exit(-1);
} /* endif */
total_bytes = 0;
total_bytes_16 = 0;
dest_ip_old = 0;
dest_ip_16_old = 0;
num_lines = 0;
num_ips = 0;
num_16s = 0;
while((fgets(in_buffer, MAX_LENGTH, inf)) != NULL){ /* do infile line at a time */
num_lines++;
if((index = strstr(in_buffer, "), length ")) != NULL){ /* find search string if it is there, then parse the data */
sscanf(index, "), length %u: %u.%u.%u.%u.%u > %u.%u.%u.%u.%u:",
¤t_bytes,
&sip3, &sip2, &sip1, &sip0,
&sport,
&dip3, &dip2, &dip1, &dip0,
&dport);
} else {
printf("tcpdump_bytes: Got an odd line: %s", in_buffer);
} /* endif */
dest_ip_16 = (dip3 << 24) + (dip2 << 16);
dest_ip = dest_ip_16 + (dip1 << 8) + dip0;
// printf("debug: B: %u S: %u.%u.%u.%u.%u D: %u.%u.%u.%u.%u %u %u\n", current_bytes, sip3, sip2, sip1, sip0, sport, dip3, dip2, dip1, dip0, dport, dest_ip, dest_ip_16);
if(dest_ip != dest_ip_old){
if(total_bytes != 0){
fprintf(out1, "%llu %u.%u.%u.%u\n", total_bytes, (dest_ip_old >> 24) & 0xff, (dest_ip_old >> 16) & 0xff, (dest_ip_old >> 8) & 0xff, dest_ip_old & 0xff);
total_bytes = 0;
} /* endif */
dest_ip_old = dest_ip;
num_ips++;
} /* endif */
total_bytes = total_bytes + (unsigned long long) current_bytes;
if(dest_ip_16 != dest_ip_16_old){
if(total_bytes_16 != 0){
fprintf(out2, "%llu %u.%u.0.0/16\n", total_bytes_16, (dest_ip_16_old >> 24) & 0xff, (dest_ip_16_old >> 16) & 0xff);
total_bytes_16 = 0;
} /* endif */
dest_ip_16_old = dest_ip_16;
num_16s++;
} /* endif */
total_bytes_16 = total_bytes_16 + (unsigned long long) current_bytes;
} /* endwhile */
/* don't forget to output the last data */
if(total_bytes != 0){
fprintf(out1, "%llu %u.%u.%u.%u\n", total_bytes, dip3, dip2, dip1, dip0);
} else {
printf("tcpdump_bytes: Something is wrong. Last IP address has no bytes.\n");
} /* endif */
if(total_bytes_16 != 0){
fprintf(out2, "%llu %u.%u.0.0/16\n", total_bytes_16, dip3, dip2);
} else {
printf("tcpdump_bytes: Something is wrong. Last IP/16 address has no bytes.\n");
} /* endif */
fclose(inf);
fclose(out1);
fclose(out2);
printf("tcpdump_bytes: Done. Processed %d lines and %d IP addresses and %d /16 addresses\n", num_lines, num_ips, num_16s);
} /* endprogram */
Обратите внимание, что некоторые файлы будут сбиты с последующей обработкой часов. Я позабочусь об этом позже.
Краткое описание того, что делает скрипт пост-обработки: Сначала двоичный файл tcpdump преобразуется в текст сводок пакетов. Пример (мой адрес был изменен на XXX.XXX.XXX.XXX):
2017-05-31 08:10:31.721956 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype IPv4 (0x0800), length 400: XXX.XXX.XXX.XXX.52779 > 38.113.165.77.443: Flags [P.], seq 1:347, ack 1, win 256, length 346
2017-05-31 08:10:31.826241 6c:be:e9:a7:f1:07 > 00:22:b0:75:c2:bd, ethertype IPv4 (0x0800), length 157: 38.113.165.77.443 > XXX.XXX.XXX.XXX.52779: Flags [P.], seq 1:104, ack 347, win 1026, length 103
2017-05-31 08:10:31.877945 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype IPv4 (0x0800), length 54: XXX.XXX.XXX.XXX.52779 > 38.113.165.77.443: Flags [.], ack 104, win 256, length 0
2017-05-31 08:10:32.603768 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype ARP (0x0806), length 42: Request who-has XXX.XXX.XXX.YYY tell XXX.XXX.XXX.XXX, length 28
2017-05-31 08:10:32.630960 6c:be:e9:a7:f1:07 > 00:22:b0:75:c2:bd, ethertype ARP (0x0806), length 60: Reply XXX.XXX.XXX.YYY is-at 6c:be:e9:a7:f1:07, length 46
2017-05-31 08:10:33.643468 00:90:d0:63:ff:00 > 01:00:5e:00:00:01, ethertype IPv4 (0x0800), length 60: 10.197.248.13 > 224.0.0.1: igmp query v2
2017-05-31 08:10:37.448732 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype IPv4 (0x0800), length 90: XXX.XXX.XXX.XXX.53120 > 91.189.89.199.123: NTPv4, Client, length 48
Целесообразно, чтобы в примере была включена пара пакетов ARP, поэтому покажите что-то, что будет исключено из дальнейшая обработка. Досадный пакет IGMP от частного IP-адреса от моего провайдера и также будет исключен из дальнейшей обработки. Однако, если мой интернет-провайдер когда-либо утверждает, что я перешел на мой лимит ежемесячных данных, я укажу на такие пакеты, когда скажу, за что я не буду платить. Обратите внимание на две длины, показанные на каждой строке, первая - это байты на проводе, а вторая - длина полезной нагрузки. Нам нужны байты на проводе, поэтому мы используем параметр -e с tcpdump. [D4]
Во-вторых, исходящий пакет можно однозначно идентифицировать, набрав «: XXX.XXX. XXX.XXX. ", Поэтому извлеките все исходящие пакеты, не включая ARP и ICMP, используя grep.
В-третьих, используя пробел в качестве разделителя, поле 13 является IP-адресом назначения, поэтому используйте сложную группу (! d17)
Forth, сортировать исходящие пакеты по IP-адресу назначения. В-пятых, используйте программу c для вычисления байтов на каждый IP и байты на IP / 16 и сортировать вывод в гистограммы.
В-шестых, вручную исследуйте верхние IP-адреса в попытке определить, что происходит. Обратите внимание, что очень часто можно найти связанный запрос прямого поиска DNS в выводе tcpdump.
В качестве примера я просмотрел данные WAN / LAN между 2017-05-31 08:09:33 и 2017 -08-09 22:13:11 и отредактировал то, что я нашел для различных IP-адресов. Сначала наивысшее количество пакетов:
packets IP Address Added Comment
299517 91.189.95.84 Ubuntu stuff
301129 198.38.112.140 Netflix
306815 17.253.31.206 Apple stuff
319558 129.97.134.71 Ubuntu stuff (mirror, I think)
333334 91.189.88.152 Ubuntu stuff
352141 91.189.88.39 Ubuntu stuff
353160 209.121.139.153 Telus (Microsoft updates streaming)
368669 209.121.139.163 Telus (Microsoft updates streaming)
389928 91.189.88.161 Ubuntu stuff
396087 23.60.74.158 deploy.static.akamaitechnologies.com (?)
421259 198.38.112.170 Netflix
474506 17.253.31.205 Apple stuff
477706 198.38.109.153 Netflix
480452 198.38.112.159 Netflix
540261 198.38.112.173 Netflix
574592 198.38.112.132 Netflix
710022 198.38.112.174 Netflix
728434 209.121.139.144 Telus (Microsoft updates streaming)
738839 198.38.112.130 Netflix
883688 198.38.109.171 Netflix
1049778 198.38.112.154 Netflix
2166582 72.21.81.200 Hmmmm ? MCI Communications Services, (Skype, I think)
7512548 13.107.4.50 Microsoft (updates)
Во-вторых, число из нескольких байтов:
Bytes IP Added Comment
32358580 17.253.31.205 Apple stuff
32625068 198.38.112.159 Netflix
34220805 172.217.3.206 Google web crawler
36628021 198.38.112.173 Netflix
37022702 17.188.208.132 Apple stuff
39105254 198.38.112.132 Netflix
40697177 209.121.139.144 Telus Microsoft updates file streaming
48247623 198.38.112.174 Netflix
49537980 64.4.54.254 Microsoft
50358753 198.38.112.130 Netflix
59623846 198.38.109.171 Netflix
71532166 198.38.112.154 Netflix
98480036 207.167.198.18 Telus e-mail stuff
139907010 72.21.81.200 Hmmmm ? MCI Communications Services, (Skype, I think)
210138801 91.189.95.84 Ubuntu stuff
325511064 204.79.197.213 Microsoft (?) msedge.net storage.skyprod.akadns.net
479586878 13.107.4.50 Microsoft (updates)
Обратите внимание, как, например, Netflix использует много IP-адресов , он может упасть ниже в рейтинге, чем это должно было бы быть, если бы все его IP-адреса рассматривались как один.
В-третьих, подсчеты из числа наивысших / 16 групп по байтам. Обратите внимание, что Netflix теперь самый большой:
107592753 209.52.0.0/16 cache.google.com (for example)
116538884 207.167.0.0/16 Telus e-mail stuff
120769715 17.188.0.0/16 Apple. store-025-failover2.blobstore-apple.com.akadns.net (for example)
139261655 52.218.0.0/16 s3-us-west-2.amazonaws.com (for example) ? Hmmm...
147091123 172.217.0.0/16 Google web crawler
153146532 17.248.0.0/16 p46-keyvalueservice.fe.apple-dns.net. Apple iCloud Drive
183300509 72.21.0.0/16 Skype (I think)
213119564 209.121.0.0/16 Telus Microsoft updates file streaming
333374588 204.79.0.0/16 Microsoft
354346088 91.189.0.0/16 Ubuntu stuff
488793579 13.107.0.0/16 Microsoft (updates)
621733032 198.38.0.0/16 Netflix
Примечание. Этот ответ касается только некоторых из желаемых «Загружаемых данных 5W».
Используйте tcpdump для захвата всего трафика пакетов и используйте некоторую пост-обработку для извлечения желаемой информации.
sudo tcpdump -i enp4s0 -w 'ext-%F-%H-%M-%S.bin' -G 3600 -z /home/doug/bin/packet_post_processor2
Где: мой интерфейс интерфейса WAN - enp4s0; Имена файлов автоматически включают дату и время (требуется дополнительный пакет, но я не могу вспомнить, какой); Я прошу вращения файлов один раз в час;
Скрипт пост-обработки:
#!/bin/dash
#
# packet_post_processor2 Doug Smythies. 2017.09.08
# Edits as required for updated c prgram, and bad sort order.
# There may be little use in sort by packets count, but for now
# it remians.
#
# packet_post_processor2 Doug Smythies. 2017.09.01
# This script will be called from the always running tcpdump.
# It is called for every binary file rotation.
# The purpose is to make summary files of things that one
# may want to investigate in more detail later on.
#
# This version is for WinEunuuchs2Unix and
# https://askubuntu.com/questions/951783/how-to-find-out-who-is-taking-70-gb-of-data-from-me-each-month
#
#check that the call included the file name, and only the file name, to use.
if [ $# -ne 1 ]
then
echo "Usage - $0 file-name"
exit 1
fi
# check that the file actually exists:
if [ ! -f $1 ]
then
echo "tcpdump binary file $1 does not exist, aborting..."
exit 1
fi
echo "data extraction 1: All the packets..."
# Note: Using the -e option will ease subsequent bytes per unit time calculations
sudo tcpdump -n -tttt -e -r $1 >all_e.txt
echo "data extraction 2: The outgoing normal packets..."
# Note: We might want to check that something important doesn't get missed here.
# Note: replace the fake IP address with your actual IP address.
grep ": XXX\.XXX\.XXX\.XXX\." all_e.txt | grep Flags >outgoing.txt
echo "data extraction 3: Make a histogram of the destination IP addresses by packets..."
# Note: use field 13
cut -d" " -f13 outgoing.txt | sed 's/.[^.]*$//' | sort | uniq -c | sort -g >outhisto.txt
# Phase 2: Maximum packet count might not mean maximum byte count, so figure out maximum byte count
echo "data extraction 4: Sort the outgoing file by destination IP address."
LC_ALL=C sort -k 13 <outgoing.txt >outgoing.srt
echo "data extraction 5: Now, calculate bytes per IP and bytes per IP/16 and make sorted historgrams"
# Note: There might be some clever awk or whatever way to do this, but I have a c program.
./tcpdump_bytes outgoing.srt outb.txt out16.txt
sort --general-numeric-sort <outb.txt >outhistob.txt
sort --general-numeric-sort <out16.txt >outhistob16.txt
#Leave the intermidiate files, just for now, while we debug.
#
# packet_post_process. End.
Программа c, вызванная внутри скрипта, была обработана сценарием packet_post_processor (2 для этого ответа).
:
/*****************************************************************************
*
* tcpdump_bytes.c 2017.09.08 Smythies
* By sorting the input file before running this program, it can do bytes
* per IP all on its own, and in one pass through the file. At this time,
* it is for outgoing only. A future revision will add command line
* options for incoming and such.
* Might as well group by 1st 2 IP address bytes at the same time,
* i.e. for some (not all) of those multiple IP situations.
*
* tcpdump_bytes.c 2017.09.01 Smythies
* Count the bytes for all the packets in the passed file.
* See also tcpdump_extract.c, from which this was taken.
* This program is very quite, just printing bytes, unless there
* is some error. The idea is that is part of something bigger and
* therefore extra verbosity would just get in the way.
*
* Note: The input tcpdump file needs to have been done
* with the -e option.
*
*****************************************************************************/
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define MAX_LENGTH 2000 /* maximum line length */
void main(int argc, char **argv){
char in_buffer[MAX_LENGTH];
char *infile, *outfile1, *outfile2;
char *index, *index2;
FILE *inf, *out1, *out2;
unsigned current_bytes, sip3, sip2, sip1, sip0, sport, dip3, dip2, dip1, dip0, dport;
unsigned dest_ip, dest_ip_16, dest_ip_old, dest_ip_16_old;
unsigned num_lines, num_ips, num_16s;
unsigned long long total_bytes, total_bytes_16;
switch(argc){
case 4:
infile = argv[1];
outfile1 = argv[2];
outfile2 = argv[3];
break;
default:
printf("tcpdump_bytes infile outfile1 outfile2\n");
printf(" parse outgoing bytes per IP out of a sorted tcpdump file where the -e option was used.\n");
printf(" infile is sorted tcpdump output file; oufile1 is bytes per IP; outfile 2 is bytes per IP/16.\n");
exit(-1);
} /* endcase */
if((inf = fopen(infile, "rt")) == NULL){
printf("Unable to open input file '%s'\n", infile);
exit(-1);
} /* endif */
if((out1 = fopen(outfile1, "wt")) == NULL){
printf("Error opening output file '%s'\n", outfile1);
exit(-1);
} /* endif */
if((out2 = fopen(outfile2, "wt")) == NULL){
printf("Error opening output file '%s'\n", outfile2);
exit(-1);
} /* endif */
total_bytes = 0;
total_bytes_16 = 0;
dest_ip_old = 0;
dest_ip_16_old = 0;
num_lines = 0;
num_ips = 0;
num_16s = 0;
while((fgets(in_buffer, MAX_LENGTH, inf)) != NULL){ /* do infile line at a time */
num_lines++;
if((index = strstr(in_buffer, "), length ")) != NULL){ /* find search string if it is there, then parse the data */
sscanf(index, "), length %u: %u.%u.%u.%u.%u > %u.%u.%u.%u.%u:",
¤t_bytes,
&sip3, &sip2, &sip1, &sip0,
&sport,
&dip3, &dip2, &dip1, &dip0,
&dport);
} else {
printf("tcpdump_bytes: Got an odd line: %s", in_buffer);
} /* endif */
dest_ip_16 = (dip3 << 24) + (dip2 << 16);
dest_ip = dest_ip_16 + (dip1 << 8) + dip0;
// printf("debug: B: %u S: %u.%u.%u.%u.%u D: %u.%u.%u.%u.%u %u %u\n", current_bytes, sip3, sip2, sip1, sip0, sport, dip3, dip2, dip1, dip0, dport, dest_ip, dest_ip_16);
if(dest_ip != dest_ip_old){
if(total_bytes != 0){
fprintf(out1, "%llu %u.%u.%u.%u\n", total_bytes, (dest_ip_old >> 24) & 0xff, (dest_ip_old >> 16) & 0xff, (dest_ip_old >> 8) & 0xff, dest_ip_old & 0xff);
total_bytes = 0;
} /* endif */
dest_ip_old = dest_ip;
num_ips++;
} /* endif */
total_bytes = total_bytes + (unsigned long long) current_bytes;
if(dest_ip_16 != dest_ip_16_old){
if(total_bytes_16 != 0){
fprintf(out2, "%llu %u.%u.0.0/16\n", total_bytes_16, (dest_ip_16_old >> 24) & 0xff, (dest_ip_16_old >> 16) & 0xff);
total_bytes_16 = 0;
} /* endif */
dest_ip_16_old = dest_ip_16;
num_16s++;
} /* endif */
total_bytes_16 = total_bytes_16 + (unsigned long long) current_bytes;
} /* endwhile */
/* don't forget to output the last data */
if(total_bytes != 0){
fprintf(out1, "%llu %u.%u.%u.%u\n", total_bytes, dip3, dip2, dip1, dip0);
} else {
printf("tcpdump_bytes: Something is wrong. Last IP address has no bytes.\n");
} /* endif */
if(total_bytes_16 != 0){
fprintf(out2, "%llu %u.%u.0.0/16\n", total_bytes_16, dip3, dip2);
} else {
printf("tcpdump_bytes: Something is wrong. Last IP/16 address has no bytes.\n");
} /* endif */
fclose(inf);
fclose(out1);
fclose(out2);
printf("tcpdump_bytes: Done. Processed %d lines and %d IP addresses and %d /16 addresses\n", num_lines, num_ips, num_16s);
} /* endprogram */
Обратите внимание, что некоторые файлы будут сбиты с последующей обработкой часов. Я позабочусь об этом позже.
Краткое описание того, что делает скрипт пост-обработки: Сначала двоичный файл tcpdump преобразуется в текст сводок пакетов. Пример (мой адрес был изменен на XXX.XXX.XXX.XXX):
2017-05-31 08:10:31.721956 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype IPv4 (0x0800), length 400: XXX.XXX.XXX.XXX.52779 > 38.113.165.77.443: Flags [P.], seq 1:347, ack 1, win 256, length 346
2017-05-31 08:10:31.826241 6c:be:e9:a7:f1:07 > 00:22:b0:75:c2:bd, ethertype IPv4 (0x0800), length 157: 38.113.165.77.443 > XXX.XXX.XXX.XXX.52779: Flags [P.], seq 1:104, ack 347, win 1026, length 103
2017-05-31 08:10:31.877945 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype IPv4 (0x0800), length 54: XXX.XXX.XXX.XXX.52779 > 38.113.165.77.443: Flags [.], ack 104, win 256, length 0
2017-05-31 08:10:32.603768 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype ARP (0x0806), length 42: Request who-has XXX.XXX.XXX.YYY tell XXX.XXX.XXX.XXX, length 28
2017-05-31 08:10:32.630960 6c:be:e9:a7:f1:07 > 00:22:b0:75:c2:bd, ethertype ARP (0x0806), length 60: Reply XXX.XXX.XXX.YYY is-at 6c:be:e9:a7:f1:07, length 46
2017-05-31 08:10:33.643468 00:90:d0:63:ff:00 > 01:00:5e:00:00:01, ethertype IPv4 (0x0800), length 60: 10.197.248.13 > 224.0.0.1: igmp query v2
2017-05-31 08:10:37.448732 00:22:b0:75:c2:bd > 6c:be:e9:a7:f1:07, ethertype IPv4 (0x0800), length 90: XXX.XXX.XXX.XXX.53120 > 91.189.89.199.123: NTPv4, Client, length 48
Целесообразно, чтобы в примере была включена пара пакетов ARP, поэтому покажите что-то, что будет исключено из дальнейшая обработка. Досадный пакет IGMP от частного IP-адреса от моего провайдера и также будет исключен из дальнейшей обработки. Однако, если мой интернет-провайдер когда-либо утверждает, что я перешел на мой лимит ежемесячных данных, я укажу на такие пакеты, когда скажу, за что я не буду платить. Обратите внимание на две длины, показанные на каждой строке, первая - это байты на проводе, а вторая - длина полезной нагрузки. Нам нужны байты на проводе, поэтому мы используем параметр -e с tcpdump. [D4]
Во-вторых, исходящий пакет можно однозначно идентифицировать, набрав «: XXX.XXX. XXX.XXX. ", Поэтому извлеките все исходящие пакеты, не включая ARP и ICMP, используя grep.
В-третьих, используя пробел в качестве разделителя, поле 13 является IP-адресом назначения, поэтому используйте сложную группу (! d17)
Forth, сортировать исходящие пакеты по IP-адресу назначения. В-пятых, используйте программу c для вычисления байтов на каждый IP и байты на IP / 16 и сортировать вывод в гистограммы.
В-шестых, вручную исследуйте верхние IP-адреса в попытке определить, что происходит. Обратите внимание, что очень часто можно найти связанный запрос прямого поиска DNS в выводе tcpdump.
В качестве примера я просмотрел данные WAN / LAN между 2017-05-31 08:09:33 и 2017 -08-09 22:13:11 и отредактировал то, что я нашел для различных IP-адресов. Сначала наивысшее количество пакетов:
packets IP Address Added Comment
299517 91.189.95.84 Ubuntu stuff
301129 198.38.112.140 Netflix
306815 17.253.31.206 Apple stuff
319558 129.97.134.71 Ubuntu stuff (mirror, I think)
333334 91.189.88.152 Ubuntu stuff
352141 91.189.88.39 Ubuntu stuff
353160 209.121.139.153 Telus (Microsoft updates streaming)
368669 209.121.139.163 Telus (Microsoft updates streaming)
389928 91.189.88.161 Ubuntu stuff
396087 23.60.74.158 deploy.static.akamaitechnologies.com (?)
421259 198.38.112.170 Netflix
474506 17.253.31.205 Apple stuff
477706 198.38.109.153 Netflix
480452 198.38.112.159 Netflix
540261 198.38.112.173 Netflix
574592 198.38.112.132 Netflix
710022 198.38.112.174 Netflix
728434 209.121.139.144 Telus (Microsoft updates streaming)
738839 198.38.112.130 Netflix
883688 198.38.109.171 Netflix
1049778 198.38.112.154 Netflix
2166582 72.21.81.200 Hmmmm ? MCI Communications Services, (Skype, I think)
7512548 13.107.4.50 Microsoft (updates)
Во-вторых, число из нескольких байтов:
Bytes IP Added Comment
32358580 17.253.31.205 Apple stuff
32625068 198.38.112.159 Netflix
34220805 172.217.3.206 Google web crawler
36628021 198.38.112.173 Netflix
37022702 17.188.208.132 Apple stuff
39105254 198.38.112.132 Netflix
40697177 209.121.139.144 Telus Microsoft updates file streaming
48247623 198.38.112.174 Netflix
49537980 64.4.54.254 Microsoft
50358753 198.38.112.130 Netflix
59623846 198.38.109.171 Netflix
71532166 198.38.112.154 Netflix
98480036 207.167.198.18 Telus e-mail stuff
139907010 72.21.81.200 Hmmmm ? MCI Communications Services, (Skype, I think)
210138801 91.189.95.84 Ubuntu stuff
325511064 204.79.197.213 Microsoft (?) msedge.net storage.skyprod.akadns.net
479586878 13.107.4.50 Microsoft (updates)
Обратите внимание, как, например, Netflix использует много IP-адресов , он может упасть ниже в рейтинге, чем это должно было бы быть, если бы все его IP-адреса рассматривались как один.
В-третьих, подсчеты из числа наивысших / 16 групп по байтам. Обратите внимание, что Netflix теперь самый большой:
107592753 209.52.0.0/16 cache.google.com (for example)
116538884 207.167.0.0/16 Telus e-mail stuff
120769715 17.188.0.0/16 Apple. store-025-failover2.blobstore-apple.com.akadns.net (for example)
139261655 52.218.0.0/16 s3-us-west-2.amazonaws.com (for example) ? Hmmm...
147091123 172.217.0.0/16 Google web crawler
153146532 17.248.0.0/16 p46-keyvalueservice.fe.apple-dns.net. Apple iCloud Drive
183300509 72.21.0.0/16 Skype (I think)
213119564 209.121.0.0/16 Telus Microsoft updates file streaming
333374588 204.79.0.0/16 Microsoft
354346088 91.189.0.0/16 Ubuntu stuff
488793579 13.107.0.0/16 Microsoft (updates)
621733032 198.38.0.0/16 Netflix
сохраняется 7 января 2018 года, в Firefox
перейдите к нижней, "редактирование 6", чтобы увидеть только проблема в Firefox
проблемарешена 13 декабря 2017
перейдите к нижней, "редактирование 6", чтобы увидеть только проблема в Firefox
отвечая на 4 из 5 Вт
я был в состоянии изолировать, кто, Что, Где и когда данные загружаются:
кто = rt.com / по воздуху. Как = установить FlashPlayer плагин, где = в Google Chrome и Mozilla Firefox при = утром и вечером, когда я смотрю международные новости"почему" может быть ошибка, или это может быть шпионских программ или это может быть флеш-плеер был настроен на сбор информационных потоков для целей отчетности аварии.
в следующем разделе подробно описываются действия по изоляции, кто, Что, Где и когда.
использовать [F10] для того, чтобы отслеживать движения!д21]
извиняюсь заранее за изображениями на экране, а не скопировать текст и вставить. Я взял снимки, не зная, если информация была актуальна до того, как все тесты были сделаны.
первый шаг в тестировании закрыть все 10 вкладок Chrome, и 3 вкладки Firefox.
далее откройте терминал сочетанием клавиш Ctrl + клавиши Alt + T и введите [ф11]. Это предполагает, что вы уже установили команду vnstat. Если нет, см. этот ответ о [ф12] в спросите Ubuntu.
потом открыть один хром или вкладку Firefox, в то время и контролировать использование ставки:
смотреть 80-минутный фильм о вокалист/продюсер из ЭЛО:
Контент в формате 720p. Один гигабайт скачал и 40 Мб загружен 4% от TX к RX и соотношение кажется нормальным.
смотрите 5 минут видео новости в формате flash плеера через Гугл хром:
Контента в формате 1080p. 103.37 Мб был скачан, что нормально, но почти вдвое большую сумму (192.62 МиБ = 186%) был загружен что не нормально.
[dрайвер d41]смотрите 30 минут записанных новости загружаемые из международных новостей телекомпании:[!dрайвер d41]
я остановился на 1/2 часа предварительно записанные загружаемые много раз вещал, пока он играл. Прошедшее время было на самом деле 72 минуты. Тем не менее общая популярность (они записаны в формате 720p) - это 508.12 MiB и добавления 21.63 Мб для TX к RX, равное 4%.
резюме
если вы являетесь разработчиком программного обеспечения постоянно загружая к [от f13] или свободным художником, постоянно загружая свои работы клиентам, нормальная Техас соотношение RX следует о [и D40]не нормально[!и D40].
в этом случае месячный отчетный интернете 275.79 Гиб Гиб 70.54 загружены и загружены на соотношении передача/прием на 26%. Преступник был Флешплеера видео новостей, где соотношение передача/прием 186%!
параноик панды живут в бамбуковых лесах вокруг нас, возможно, думаете, что ЦРУ или АНБ стоит за этими большими загрузками. Я думаю, что это просто недоделка в Flash плеере.
он, возможно, российский телеведущий (РТ) в Москве с помощью израильских программное обеспечение с глюками. Я говорю это потому, что я раньше обнаружен глюк на их новостной сайт, где в разделе комментариев будет съедать 1 ГБ оперативной памяти в несколько часов, пока разделе обновления. К сожалению, мой изначальный вопрос и, кажется, были удалены, но после разноски мой первоначальный вопрос и здесь, в АУ кто-то прочитал и исправил эту проблему. Надеюсь, что подобные люди найдут эту ветку и тоже решить эту проблему.
это важно, потому что как потребители, мы платим в 26% СМИ. Мы не заплатишь за то, что мы смотрим загруженные на канал "только Google знает где".
редактирование - тесты под ядра 4.12.10
предыдущие тесты проводились под ядра [ф14]. Я установил свежее ядро [ф15] и перезагружается пару раз и провели новые тесты. Для обоих Firefox и Chrome результаты значительно улучшились, но все равно соотношение ТХ/RX являются неприемлемыми.
кто = rt.com / по воздуху. Chrome для 5.57 минут 117.34 Мб скачал и 59.75 Мб загружены на соотношении передача/прием из , ктособранные данные показывают ниже. В свете этих результатов я буду переделывать [ф16] тесты после перезагрузки пару раз.
Flash плеере браузера Firefox 5 минут новости на 1080p:
[Ф1]хром установить FlashPlayer 5 минут новости на 1080p:
[Ф2]редактирование 2 - все становится хуже, чем больше вкладок у вас открыто
[г70]я был немного преждевременным с моей версией ядра [f17 в] гипотеза. Делать дальнейшие исследования, наблюдая установить FlashPlayer прямой эфир в хром с 6 вкладками соотношение приема/передачи стало гораздо хуже. Я должен предположить, что каким-то образом установить FlashPlayer является сбор и передачу данных на другие вкладки другие, чем его собственный.[!г70]хром 26 минут установить FlashPlayer прямой эфир с 5 другими открытыми вкладками:
[Ф3]как можно ожидать в разрешении 1080p общая загрузка 718.79 МиБ. Что шокирует-это 1.13 Гб загружен! Это дает соотношение передача/прием из [размером d57]загружен в два раза пропускной способности[!размером d57]. Это приводит меня к выводу, результаты моих анализов от 2 дней назад, и те снимки экрана были мои обычные 10 вкладок Chrome, и 3 открытых вкладок в Firefox.
следующий тест будет 7 вкладок открыть и делать нормальные серфинг / задать вопросы Ubuntu и ответы в течение 1/2 часа и вам не установить FlashPlayer только суммы.
редактировать 3 - используя носатик для мониторинга в режиме реального времени
первые результаты тестирования 7 краны открыты отвечая на вопрос Ubuntu (на один выше):
[Ф4]следующий тест с 7 открытыми вкладками, ничего не делая для 1/2 часа на машине:
[ф5]поэтому мы можем видеть даже тогда, когда ничего не происходит на вашей машине это нормально для хрома для передачи пакетов, но размер мал (529 Кб или около того).
Носатый текст
[кадрах, снятых D80]я добавил этот носатый текст для мониторинга использования сети в режиме реального времени:[!кадрах, снятых D80] [ф6]дисплей Носатый
[о d54]съедать 1 ГБ оперативной памяти в течение нескольких часов[!о d54]
итоги внизу после последней загрузки, не с носатик был включен.
редактирование 4 - HTML5 и не загрузить, как установить FlashPlayer делает!d86]
я побежал 27.5 минутного теста под ядра 4.12.10 в youtube.com новости канала (с 4-часовой сдвиг времени) в 1080р:
[ф7]474.04 МиБ были загружены и 19.49 Мб были загружены дает средний коэффициент приемник/передатчик на 4%. Этот тест проводили с использованием браузера Chrome, но я ожидаю, что результаты браузера Firefox будет то же самое. Поэтому можно с уверенностью предположить массовое передает данные ограничиваются FlashPlayer и не HTML5.
, надеюсь, другие пользователи могут тест, чтобы подтвердить мои выводы и комментарий ниже.
в то же время у меня есть, кто ведет переговоры с Дагом Smythies (который выложил другой ответ здесь) в общем убунту чат о своем решении. Используя Даг ответ, я надеюсь, чтобы обнаружить физические IP-адреса мои данные.
редактирование 5 - 13 декабря 2017 - проблема решена ядра 4.14.4
в последние пару дней проблема исчезла самостоятельно. Скорее всего, установить FlashPlayer обновить или обновления ядра:
[d64 с]Chrome для 5.57 минут 117.34 Мб скачал и 59.75 Мб загружены на соотношении передача/прием из , кто[!d64 с] что = плагин Флешплеера баг хрома Изображения ~1 секунду за спиной голос исправленоvnstat -L результаты
[ф8]4% в прошлом месяце я получил новый ноутбук, где эта проблема сохраняется. Однако в последние пару дней проблема ушла самостоятельно либо с хром обновить версию 63.0.3239.84 (официальная сборка) (64-bit) и/или из-за ядра 4.14.4 используется.
редактирование 6 - янв 07 2018 - проблема не устранена Firefox версии 57.0.4
в последние пару дней у меня были проблемы через хром, поэтому начали использовать весь раз Firefox. Я также установил ядро [ф18], чтобы проверить патчи ядра кризиса:
баг хрома Изображения ~1 секунду за спиной голос исправлено баг хрома берут ~5 секунд, чтобы увеличить экран вернулся!d107]vnstat -L результаты
[ф9]так.... полный круг :(
сохраняется 7 января 2018 года, в Firefox
перейдите к нижней, "редактирование 6", чтобы увидеть только проблема в Firefox
проблемарешена 13 декабря 2017
перейдите к нижней, "редактирование 6", чтобы увидеть только проблема в Firefox
отвечая на 4 из 5 Вт
я был в состоянии изолировать, кто, Что, Где и когда данные загружаются:
кто = rt.com / по воздуху. Как = установить FlashPlayer плагин, где = в Google Chrome и Mozilla Firefox при = утром и вечером, когда я смотрю международные новости"почему" может быть ошибка, или это может быть шпионских программ или это может быть флеш-плеер был настроен на сбор информационных потоков для целей отчетности аварии.
в следующем разделе подробно описываются действия по изоляции, кто, Что, Где и когда.
использовать [F10] для того, чтобы отслеживать движения!д21]
извиняюсь заранее за изображениями на экране, а не скопировать текст и вставить. Я взял снимки, не зная, если информация была актуальна до того, как все тесты были сделаны.
первый шаг в тестировании закрыть все 10 вкладок Chrome, и 3 вкладки Firefox.
далее откройте терминал сочетанием клавиш Ctrl + клавиши Alt + T и введите vnstat -l. Это предполагает, что вы уже установили команду vnstat. Если нет, см. этот ответ о vnstat в спросите Ubuntu.
потом открыть один хром или вкладку Firefox, в то время и контролировать использование ставки:
смотреть 80-минутный фильм о вокалист/продюсер из ЭЛО:
Контент в формате 720p. Один гигабайт скачал и 40 Мб загружен 4% от TX к RX и соотношение кажется нормальным.
смотрите 5 минут видео новости в формате flash плеера через Гугл хром:
Контента в формате 1080p. 103.37 Мб был скачан, что нормально, но почти вдвое большую сумму (192.62 МиБ = 186%) был загружен что не нормально.
[dрайвер d41]смотрите 30 минут записанных новости загружаемые из международных новостей телекомпании:[!dрайвер d41]
я остановился на 1/2 часа предварительно записанные загружаемые много раз вещал, пока он играл. Прошедшее время было на самом деле 72 минуты. Тем не менее общая популярность (они записаны в формате 720p) - это 508.12 MiB и добавления 21.63 Мб для TX к RX, равное 4%.
резюме
если вы являетесь разработчиком программного обеспечения постоянно загружая к [от f13] или свободным художником, постоянно загружая свои работы клиентам, нормальная Техас соотношение RX следует о [и D40]не нормально[!и D40].
в этом случае месячный отчетный интернете 275.79 Гиб Гиб 70.54 загружены и загружены на соотношении передача/прием на 26%. Преступник был Флешплеера видео новостей, где соотношение передача/прием 186%!
параноик панды живут в бамбуковых лесах вокруг нас, возможно, думаете, что ЦРУ или АНБ стоит за этими большими загрузками. Я думаю, что это просто недоделка в Flash плеере.
он, возможно, российский телеведущий (РТ) в Москве с помощью израильских программное обеспечение с глюками. Я говорю это потому, что я раньше обнаружен глюк на их новостной сайт, где в разделе комментариев будет съедать 1 ГБ оперативной памяти в несколько часов, пока разделе обновления. К сожалению, мой изначальный вопрос и, кажется, были удалены, но после разноски мой первоначальный вопрос и здесь, в АУ кто-то прочитал и исправил эту проблему. Надеюсь, что подобные люди найдут эту ветку и тоже решить эту проблему.
это важно, потому что как потребители, мы платим в 26% СМИ. Мы не заплатишь за то, что мы смотрим загруженные на канал "только Google знает где".
редактирование - тесты под ядра 4.12.10
предыдущие тесты проводились под ядра 4.4.0-93. Я установил свежее ядро 4.12.10 и перезагружается пару раз и провели новые тесты. Для обоих Firefox и Chrome результаты значительно улучшились, но все равно соотношение ТХ/RX являются неприемлемыми.
кто = rt.com / по воздуху. Chrome для 5.57 минут 117.34 Мб скачал и 59.75 Мб загружены на соотношении передача/прием из , ктособранные данные показывают ниже. В свете этих результатов я буду переделывать 4.4.0-93 тесты после перезагрузки пару раз.
Flash плеере браузера Firefox 5 минут новости на 1080p:
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 1 kbit/s 1 p/s tx: 1 kbit/s 1 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 108.04 MiB | 57.71 MiB
--------------------------------------+------------------
max 14.72 Mbit/s | 10.64 Mbit/s
average 2.77 Mbit/s | 1.48 Mbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 133538 | 104640
--------------------------------------+------------------
max 1395 p/s | 1219 p/s
average 417 p/s | 327 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 5.33 minutes
хром установить FlashPlayer 5 минут новости на 1080p:
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 0 kbit/s 0 p/s tx: 0 kbit/s 0 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 117.34 MiB | 59.75 MiB
--------------------------------------+------------------
max 25.13 Mbit/s | 9.92 Mbit/s
average 2.88 Mbit/s | 1.47 Mbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 139174 | 126372
--------------------------------------+------------------
max 2363 p/s | 1441 p/s
average 416 p/s | 378 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 5.57 minutes
редактирование 2 - все становится хуже, чем больше вкладок у вас открыто
[г70]я был немного преждевременным с моей версией ядра [f17 в] гипотеза. Делать дальнейшие исследования, наблюдая установить FlashPlayer прямой эфир в хром с 6 вкладками соотношение приема/передачи стало гораздо хуже. Я должен предположить, что каким-то образом установить FlashPlayer является сбор и передачу данных на другие вкладки другие, чем его собственный.[!г70]хром 26 минут установить FlashPlayer прямой эфир с 5 другими открытыми вкладками:
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 1 kbit/s 1 p/s tx: 1 kbit/s 1 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 718.79 MiB | 1.13 GiB
--------------------------------------+------------------
max 30.10 Mbit/s | 12.72 Mbit/s
average 3.73 Mbit/s | 6.00 Mbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 1100634 | 1396530
--------------------------------------+------------------
max 2616 p/s | 1774 p/s
average 696 p/s | 883 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 26.33 minutes
как можно ожидать в разрешении 1080p общая загрузка 718.79 МиБ. Что шокирует-это 1.13 Гб загружен! Это дает соотношение передача/прием из [размером d57]загружен в два раза пропускной способности[!размером d57]. Это приводит меня к выводу, результаты моих анализов от 2 дней назад, и те снимки экрана были мои обычные 10 вкладок Chrome, и 3 открытых вкладок в Firefox.
следующий тест будет 7 вкладок открыть и делать нормальные серфинг / задать вопросы Ubuntu и ответы в течение 1/2 часа и вам не установить FlashPlayer только суммы.
редактировать 3 - используя носатик для мониторинга в режиме реального времени
первые результаты тестирования 7 краны открыты отвечая на вопрос Ubuntu (на один выше):
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 1 kbit/s 1 p/s tx: 2 kbit/s 3 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 1.14 MiB | 454 KiB
--------------------------------------+------------------
max 2.40 Mbit/s | 136 kbit/s
average 9.35 kbit/s | 3.64 kbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 3699 | 2776
--------------------------------------+------------------
max 257 p/s | 163 p/s
average 3 p/s | 2 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 16.63 minutes
следующий тест с 7 открытыми вкладками, ничего не делая для 1/2 часа на машине:
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 1 kbit/s 1 p/s tx: 2 kbit/s 2 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 766 KiB | 529 KiB
--------------------------------------+------------------
max 121 kbit/s | 164 kbit/s
average 3.33 kbit/s | 2.30 kbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 4752 | 3772
--------------------------------------+------------------
max 256 p/s | 24 p/s
average 2 p/s | 2 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 30.70 minutes
поэтому мы можем видеть даже тогда, когда ничего не происходит на вашей машине это нормально для хрома для передачи пакетов, но размер мал (529 Кб или около того).
Носатый текст
[кадрах, снятых D80]я добавил этот носатый текст для мониторинга использования сети в режиме реального времени:[!кадрах, снятых D80]${color1}Network real-time monitoring
${color}Down: ${color green}${downspeed eth0}/s ${color}${goto 220}Up: ${color green}${upspeed eth0}/s
${downspeedgraph eth0 25,190 000000 ff0000} ${alignr}${upspeedgraph eth0
25,190 000000 00ff00}$color
Total: ${color green}${totaldown eth0} $color${alignr}Total: ${color green}${totalup eth0}
${color orange}${voffset 2}${hr 1}
дисплей Носатый
[о d54]съедать 1 ГБ оперативной памяти в течение нескольких часов[!о d54]
итоги внизу после последней загрузки, не с носатик был включен.
редактирование 4 - HTML5 и не загрузить, как установить FlashPlayer делает!d86]
я побежал 27.5 минутного теста под ядра 4.12.10 в youtube.com новости канала (с 4-часовой сдвиг времени) в 1080р:
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 12 kbit/s 4 p/s tx: 3 kbit/s 2 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 474.04 MiB | 19.49 MiB
--------------------------------------+------------------
max 17.27 Mbit/s | 2.16 Mbit/s
average 2.35 Mbit/s | 96.76 kbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 346609 | 198883
--------------------------------------+------------------
max 1481 p/s | 1047 p/s
average 210 p/s | 120 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 27.50 minutes
474.04 МиБ были загружены и 19.49 Мб были загружены дает средний коэффициент приемник/передатчик на 4%. Этот тест проводили с использованием браузера Chrome, но я ожидаю, что результаты браузера Firefox будет то же самое. Поэтому можно с уверенностью предположить массовое передает данные ограничиваются FlashPlayer и не HTML5.
, надеюсь, другие пользователи могут тест, чтобы подтвердить мои выводы и комментарий ниже.
в то же время у меня есть, кто ведет переговоры с Дагом Smythies (который выложил другой ответ здесь) в общем убунту чат о своем решении. Используя Даг ответ, я надеюсь, чтобы обнаружить физические IP-адреса мои данные.
редактирование 5 - 13 декабря 2017 - проблема решена ядра 4.14.4
в последние пару дней проблема исчезла самостоятельно. Скорее всего, установить FlashPlayer обновить или обновления ядра:
[d64 с]Chrome для 5.57 минут 117.34 Мб скачал и 59.75 Мб загружены на соотношении передача/прием из , кто[!d64 с] что = плагин Флешплеера баг хрома Изображения ~1 секунду за спиной голос исправленоvnstat -L результаты
enp59s0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 224.78 MiB | 8.33 MiB
--------------------------------------+------------------
max 10.26 Mbit/s | 799 kbit/s
average 2.48 Mbit/s | 92.00 kbit/s
min 2 kbit/s | 4 kbit/s
--------------------------------------+------------------
packets 162124 | 95039
--------------------------------------+------------------
max 886 p/s | 408 p/s
average 218 p/s | 128 p/s
min 1 p/s | 1 p/s
--------------------------------------+------------------
time 12.37 minutes
4% в прошлом месяце я получил новый ноутбук, где эта проблема сохраняется. Однако в последние пару дней проблема ушла самостоятельно либо с хром обновить версию 63.0.3239.84 (официальная сборка) (64-bit) и/или из-за ядра 4.14.4 используется.
редактирование 6 - янв 07 2018 - проблема не устранена Firefox версии 57.0.4
в последние пару дней у меня были проблемы через хром, поэтому начали использовать весь раз Firefox. Я также установил ядро 4.14.12, чтобы проверить патчи ядра кризиса:
баг хрома Изображения ~1 секунду за спиной голос исправлено баг хрома берут ~5 секунд, чтобы увеличить экран вернулся!d107]vnstat -L результаты
enp59s0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 364.83 MiB | 254.76 MiB
--------------------------------------+------------------
max 15.23 Mbit/s | 9.88 Mbit/s
average 3.58 Mbit/s | 2.50 Mbit/s
min 195 kbit/s | 100 kbit/s
--------------------------------------+------------------
packets 429358 | 364510
--------------------------------------+------------------
max 1450 p/s | 1229 p/s
average 513 p/s | 436 p/s
min 147 p/s | 94 p/s
--------------------------------------+------------------
time 13.93 minutes
так.... полный круг :(
сохраняется 7 января 2018 года, в Firefox
перейдите к нижней, "редактирование 6", чтобы увидеть только проблема в Firefox
проблемарешена 13 декабря 2017
перейдите к нижней, "редактирование 6", чтобы увидеть только проблема в Firefox
отвечая на 4 из 5 Вт
я был в состоянии изолировать, кто, Что, Где и когда данные загружаются:
кто = rt.com / по воздуху. Как = установить FlashPlayer плагин, где = в Google Chrome и Mozilla Firefox при = утром и вечером, когда я смотрю международные новости"почему" может быть ошибка, или это может быть шпионских программ или это может быть флеш-плеер был настроен на сбор информационных потоков для целей отчетности аварии.
в следующем разделе подробно описываются действия по изоляции, кто, Что, Где и когда.
использовать [F10] для того, чтобы отслеживать движения!д21]
извиняюсь заранее за изображениями на экране, а не скопировать текст и вставить. Я взял снимки, не зная, если информация была актуальна до того, как все тесты были сделаны.
первый шаг в тестировании закрыть все 10 вкладок Chrome, и 3 вкладки Firefox.
далее откройте терминал сочетанием клавиш Ctrl + клавиши Alt + T и введите vnstat -l. Это предполагает, что вы уже установили команду vnstat. Если нет, см. этот ответ о vnstat в спросите Ubuntu.
потом открыть один хром или вкладку Firefox, в то время и контролировать использование ставки:
смотреть 80-минутный фильм о вокалист/продюсер из ЭЛО:
Контент в формате 720p. Один гигабайт скачал и 40 Мб загружен 4% от TX к RX и соотношение кажется нормальным.
смотрите 5 минут видео новости в формате flash плеера через Гугл хром:
Контента в формате 1080p. 103.37 Мб был скачан, что нормально, но почти вдвое большую сумму (192.62 МиБ = 186%) был загружен что не нормально.
[dрайвер d41]смотрите 30 минут записанных новости загружаемые из международных новостей телекомпании:[!dрайвер d41]я остановился на 1/2 часа предварительно записанные загружаемые много раз вещал, пока он играл. Прошедшее время было на самом деле 72 минуты. Тем не менее общая популярность (они записаны в формате 720p) - это 508.12 MiB и добавления 21.63 Мб для TX к RX, равное 4%.
резюме
если вы являетесь разработчиком программного обеспечения постоянно загружая к [от f13] или свободным художником, постоянно загружая свои работы клиентам, нормальная Техас соотношение RX следует о [и D40]не нормально[!и D40].
в этом случае месячный отчетный интернете 275.79 Гиб Гиб 70.54 загружены и загружены на соотношении передача/прием на 26%. Преступник был Флешплеера видео новостей, где соотношение передача/прием 186%!
параноик панды живут в бамбуковых лесах вокруг нас, возможно, думаете, что ЦРУ или АНБ стоит за этими большими загрузками. Я думаю, что это просто недоделка в Flash плеере.
он, возможно, российский телеведущий (РТ) в Москве с помощью израильских программное обеспечение с глюками. Я говорю это потому, что я раньше обнаружен глюк на их новостной сайт, где в разделе комментариев будет съедать 1 ГБ оперативной памяти в несколько часов, пока разделе обновления. К сожалению, мой изначальный вопрос и, кажется, были удалены, но после разноски мой первоначальный вопрос и здесь, в АУ кто-то прочитал и исправил эту проблему. Надеюсь, что подобные люди найдут эту ветку и тоже решить эту проблему.
это важно, потому что как потребители, мы платим в 26% СМИ. Мы не заплатишь за то, что мы смотрим загруженные на канал "только Google знает где".
редактирование - тесты под ядра 4.12.10
предыдущие тесты проводились под ядра 4.4.0-93. Я установил свежее ядро 4.12.10 и перезагружается пару раз и провели новые тесты. Для обоих Firefox и Chrome результаты значительно улучшились, но все равно соотношение ТХ/RX являются неприемлемыми.
кто = rt.com / по воздуху. Chrome для 5.57 минут 117.34 Мб скачал и 59.75 Мб загружены на соотношении передача/прием из , ктособранные данные показывают ниже. В свете этих результатов я буду переделывать 4.4.0-93 тесты после перезагрузки пару раз.
Flash плеере браузера Firefox 5 минут новости на 1080p:
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 1 kbit/s 1 p/s tx: 1 kbit/s 1 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 108.04 MiB | 57.71 MiB
--------------------------------------+------------------
max 14.72 Mbit/s | 10.64 Mbit/s
average 2.77 Mbit/s | 1.48 Mbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 133538 | 104640
--------------------------------------+------------------
max 1395 p/s | 1219 p/s
average 417 p/s | 327 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 5.33 minutes
хром установить FlashPlayer 5 минут новости на 1080p:
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 0 kbit/s 0 p/s tx: 0 kbit/s 0 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 117.34 MiB | 59.75 MiB
--------------------------------------+------------------
max 25.13 Mbit/s | 9.92 Mbit/s
average 2.88 Mbit/s | 1.47 Mbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 139174 | 126372
--------------------------------------+------------------
max 2363 p/s | 1441 p/s
average 416 p/s | 378 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 5.57 minutes
редактирование 2 - все становится хуже, чем больше вкладок у вас открыто
[г70]я был немного преждевременным с моей версией ядра [f17 в] гипотеза. Делать дальнейшие исследования, наблюдая установить FlashPlayer прямой эфир в хром с 6 вкладками соотношение приема/передачи стало гораздо хуже. Я должен предположить, что каким-то образом установить FlashPlayer является сбор и передачу данных на другие вкладки другие, чем его собственный.[!г70]хром 26 минут установить FlashPlayer прямой эфир с 5 другими открытыми вкладками:
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 1 kbit/s 1 p/s tx: 1 kbit/s 1 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 718.79 MiB | 1.13 GiB
--------------------------------------+------------------
max 30.10 Mbit/s | 12.72 Mbit/s
average 3.73 Mbit/s | 6.00 Mbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 1100634 | 1396530
--------------------------------------+------------------
max 2616 p/s | 1774 p/s
average 696 p/s | 883 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 26.33 minutes
как можно ожидать в разрешении 1080p общая загрузка 718.79 МиБ. Что шокирует-это 1.13 Гб загружен! Это дает соотношение передача/прием из [размером d57]загружен в два раза пропускной способности[!размером d57]. Это приводит меня к выводу, результаты моих анализов от 2 дней назад, и те снимки экрана были мои обычные 10 вкладок Chrome, и 3 открытых вкладок в Firefox.
следующий тест будет 7 вкладок открыть и делать нормальные серфинг / задать вопросы Ubuntu и ответы в течение 1/2 часа и вам не установить FlashPlayer только суммы.
редактировать 3 - используя носатик для мониторинга в режиме реального времени
первые результаты тестирования 7 краны открыты отвечая на вопрос Ubuntu (на один выше):
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 1 kbit/s 1 p/s tx: 2 kbit/s 3 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 1.14 MiB | 454 KiB
--------------------------------------+------------------
max 2.40 Mbit/s | 136 kbit/s
average 9.35 kbit/s | 3.64 kbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 3699 | 2776
--------------------------------------+------------------
max 257 p/s | 163 p/s
average 3 p/s | 2 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 16.63 minutes
следующий тест с 7 открытыми вкладками, ничего не делая для 1/2 часа на машине:
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 1 kbit/s 1 p/s tx: 2 kbit/s 2 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 766 KiB | 529 KiB
--------------------------------------+------------------
max 121 kbit/s | 164 kbit/s
average 3.33 kbit/s | 2.30 kbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 4752 | 3772
--------------------------------------+------------------
max 256 p/s | 24 p/s
average 2 p/s | 2 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 30.70 minutes
поэтому мы можем видеть даже тогда, когда ничего не происходит на вашей машине это нормально для хрома для передачи пакетов, но размер мал (529 Кб или около того).
Носатый текст
[кадрах, снятых D80]я добавил этот носатый текст для мониторинга использования сети в режиме реального времени:[!кадрах, снятых D80]${color1}Network real-time monitoring
${color}Down: ${color green}${downspeed eth0}/s ${color}${goto 220}Up: ${color green}${upspeed eth0}/s
${downspeedgraph eth0 25,190 000000 ff0000} ${alignr}${upspeedgraph eth0
25,190 000000 00ff00}$color
Total: ${color green}${totaldown eth0} $color${alignr}Total: ${color green}${totalup eth0}
${color orange}${voffset 2}${hr 1}
дисплей Носатый
[о d54]съедать 1 ГБ оперативной памяти в течение нескольких часов[!о d54]
итоги внизу после последней загрузки, не с носатик был включен.
редактирование 4 - HTML5 и не загрузить, как установить FlashPlayer делает!d86]
я побежал 27.5 минутного теста под ядра 4.12.10 в youtube.com новости канала (с 4-часовой сдвиг времени) в 1080р:
rick@dell:~$ vnstat -l
Monitoring eth0... (press CTRL-C to stop)
rx: 12 kbit/s 4 p/s tx: 3 kbit/s 2 p/s^C
eth0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 474.04 MiB | 19.49 MiB
--------------------------------------+------------------
max 17.27 Mbit/s | 2.16 Mbit/s
average 2.35 Mbit/s | 96.76 kbit/s
min 0 kbit/s | 0 kbit/s
--------------------------------------+------------------
packets 346609 | 198883
--------------------------------------+------------------
max 1481 p/s | 1047 p/s
average 210 p/s | 120 p/s
min 0 p/s | 0 p/s
--------------------------------------+------------------
time 27.50 minutes
474.04 МиБ были загружены и 19.49 Мб были загружены дает средний коэффициент приемник/передатчик на 4%. Этот тест проводили с использованием браузера Chrome, но я ожидаю, что результаты браузера Firefox будет то же самое. Поэтому можно с уверенностью предположить массовое передает данные ограничиваются FlashPlayer и не HTML5.
, надеюсь, другие пользователи могут тест, чтобы подтвердить мои выводы и комментарий ниже.
в то же время у меня есть, кто ведет переговоры с Дагом Smythies (который выложил другой ответ здесь) в общем убунту чат о своем решении. Используя Даг ответ, я надеюсь, чтобы обнаружить физические IP-адреса мои данные.
редактирование 5 - 13 декабря 2017 - проблема решена ядра 4.14.4
в последние пару дней проблема исчезла самостоятельно. Скорее всего, установить FlashPlayer обновить или обновления ядра:
[d64 с]Chrome для 5.57 минут 117.34 Мб скачал и 59.75 Мб загружены на соотношении передача/прием из , кто[!d64 с] что = плагин Флешплеера баг хрома Изображения ~1 секунду за спиной голос исправленоvnstat -L результаты
enp59s0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 224.78 MiB | 8.33 MiB
--------------------------------------+------------------
max 10.26 Mbit/s | 799 kbit/s
average 2.48 Mbit/s | 92.00 kbit/s
min 2 kbit/s | 4 kbit/s
--------------------------------------+------------------
packets 162124 | 95039
--------------------------------------+------------------
max 886 p/s | 408 p/s
average 218 p/s | 128 p/s
min 1 p/s | 1 p/s
--------------------------------------+------------------
time 12.37 minutes
4% в прошлом месяце я получил новый ноутбук, где эта проблема сохраняется. Однако в последние пару дней проблема ушла самостоятельно либо с хром обновить версию 63.0.3239.84 (официальная сборка) (64-bit) и/или из-за ядра 4.14.4 используется.
редактирование 6 - янв 07 2018 - проблема не устранена Firefox версии 57.0.4
в последние пару дней у меня были проблемы через хром, поэтому начали использовать весь раз Firefox. Я также установил ядро 4.14.12, чтобы проверить патчи ядра кризиса:
баг хрома Изображения ~1 секунду за спиной голос исправлено баг хрома берут ~5 секунд, чтобы увеличить экран вернулся!d107]vnstat -L результаты
enp59s0 / traffic statistics
rx | tx
--------------------------------------+------------------
bytes 364.83 MiB | 254.76 MiB
--------------------------------------+------------------
max 15.23 Mbit/s | 9.88 Mbit/s
average 3.58 Mbit/s | 2.50 Mbit/s
min 195 kbit/s | 100 kbit/s
--------------------------------------+------------------
packets 429358 | 364510
--------------------------------------+------------------
max 1450 p/s | 1229 p/s
average 513 p/s | 436 p/s
min 147 p/s | 94 p/s
--------------------------------------+------------------
time 13.93 minutes
так.... полный круг :(