Соединение было отклонено другой стороной: 111: Соединение отклонено
Я выполняю 25 заданий scrapy, каждое из которых имеет 50 одновременных запросов на тяжелой машине (с Ubuntu 12.04.3 LTS). Я использую прокси для отправки запросов. Примерно через 15 минут я получаю эту ошибку почти по всем запросам:
Connection was refused by other side: 111: Connection refused.
Я связался с прокси-провайдером, и они говорят, что эта проблема связана с обработкой сокетов на моей стороне.
Итак, мои скрипты отправляют 1250 одновременных запросов. Могу ли я узнать, где проблема? Есть ли ограничение на соединение в Ubuntu?
2 ответа
Я провел небольшое исследование по этому вопросу, и я нашел очень похожую тему о сбое сервера здесь . Похоже, что ваше ядро может быть ограничивающим фактором в этом конкретном случае, так как такое большое количество одновременных соединений не очень распространено. Принятый ответ утверждает, что это может быть связано с переполнением таблицы ip_conntrack.
В Ubuntu (Server) исправление может заключаться в установке некоторых пользовательских параметров в /etc/sysctl.conf
net.ipv4.netfilter.ip_conntrack_max = 32768
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_orphan_retries = 1
net.ipv4.tcp_fin_timeout = 25
net.ipv4.tcp_max_orphans = 8192
net.ipv4.ip_local_port_range = 32768 61000
Пожалуйста, взгляните на нить, с которой я связан, и всегда будьте очень осторожно с пользовательскими настройками.
У меня была такая же проблема. Попробуйте запустить своего паука как суперпользователя. Я запускал паука непосредственно с помощью команды scrapy runspider, когда я только пытался выполнить его с помощью:
sudo scrapy runspider
это сработало.