Причина номер один, которую я видел для этого, - это параметр конфигурации в SSHD UseDNS, этот параметр (включен по умолчанию) заставляет сервер выполнять разрешение DNS при входящих запросах. Много времени. Я видел, что логины идут с одной минуты плюс ожидание запроса пароля в течение нескольких секунд. Если вы отредактируете /etc/ssh/sshd_config на сервере и добавите (если его там нет) внизу UseDNS no, перезапустите демон SSH с service ssh restart, вы увидите улучшение при следующем подключении.