Не может SSH в сервер с помощью нестандартного порта

Я запускаю Гостеприимную Ubuntu (16.0.4 LTS) и на моем ноутбуке и на моем сервере. Я усилил безопасность на сервере с помощью методов, описанных здесь и здесь.

Я могу к SSH с моего ноутбука на сервер, с помощью порта SSH по умолчанию (22), но когда я пробую любое другое число, время соединения:

$ ssh -vvv phreakster@magicbox -p XXXX
OpenSSH_7.2p2 Ubuntu-4ubuntu2.1, OpenSSL 1.0.2g  1 Mar 2016
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 19: Applying options for *
debug2: resolving "magicbox" port XXXX
debug2: ssh_connect_direct: needpriv 0
debug1: Connecting to magicbox [192.168.1.100] port XXXX.
debug1: connect to address 192.168.1.100 port XXXX: Connection timed out
ssh: connect to host magicbox port XXXX: Connection timed out
phreakster@CEBERUS:~$ 

Я изменил и обновил мой /etc/ssh/sshd_config и успешно перезапущенный демон SSH.

Почему не может я SSH в сервер с помощью другого номера порта?

[[Редактирование]]

От части обратной связи я получил, я думал, что это может быть связанной с брандмауэром проблемой, таким образом, я вошел в сервер (от самой машины) и ввел следующее:

sudo ufw allow 4[XXX]/tcp

ПРЕДУПРЕДИТЕ: Дублирующийся профиль 'Apache', с помощью в последний раз найденный ПРЕДУПРЕЖДАЕТ: Дублирующийся профиль 'Apache, Безопасный', с помощью в последний раз найденный, ПРЕДУПРЕЖДАЕТ: Дублирующийся профиль 'Apache, Полный', с помощью в последний раз найденный Правилом добавленное Правило, добавленное (v6)

phreakster@CEBERUS:~ $ sudo ufw пронумерованный

ПРЕДУПРЕДИТЕ: Дублирующийся профиль 'Apache', с помощью в последний раз найденный ПРЕДУПРЕЖДАЕТ: Дублирующийся профиль 'Apache, Безопасный', с помощью в последний раз найденный, ПРЕДУПРЕЖДАЕТ: Дублирующийся профиль 'Apache, Полный', с помощью в последний раз найденный Состоянием: активный

К Действию От-----------22 ПОЗВОЛЯЮТ Где угодно 4XXX, ПОЗВОЛЯЮТ Где угодно 22 (v6), ПОЗВОЛЯЮТ Где угодно 4XXX (v6), ПОЗВОЛЯЮТ Где угодно

Я затем перезапускаю сервис SSH:

sudo service ssh restart

Вот консольный вывод отладки сессии SSH, когда я пытаюсь войти в систему от своего ноутбука:

phreakster@CEBERUS:~$ ssh -vvv phreakster@magicbox -p 4XXX
OpenSSH_7.2p2 Ubuntu-4ubuntu2.1, OpenSSL 1.0.2g  1 Mar 2016
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 19: Applying options for *
debug2: resolving "magicbox" port 4XXX
debug2: ssh_connect_direct: needpriv 0
debug1: Connecting to magicbox [192.168.1.100] port 4XXX.
debug1: Connection established.
debug1: identity file /home/phreakster/.ssh/id_rsa type 1
debug1: key_load_public: No such file or directory
debug1: identity file /home/phreakster/.ssh/id_rsa-cert type -1
debug1: key_load_public: No such file or directory
debug1: identity file /home/phreakster/.ssh/id_dsa type -1
debug1: key_load_public: No such file or directory
debug1: identity file /home/phreakster/.ssh/id_dsa-cert type -1
debug1: key_load_public: No such file or directory
debug1: identity file /home/phreakster/.ssh/id_ecdsa type -1
debug1: key_load_public: No such file or directory
debug1: identity file /home/phreakster/.ssh/id_ecdsa-cert type -1
debug1: key_load_public: No such file or directory
debug1: identity file /home/phreakster/.ssh/id_ed25519 type -1
debug1: key_load_public: No such file or directory
debug1: identity file /home/phreakster/.ssh/id_ed25519-cert type -1
debug1: Enabling compatibility mode for protocol 2.0
debug1: Local version string SSH-2.0-OpenSSH_7.2p2 Ubuntu-4ubuntu2.1
debug1: Remote protocol version 2.0, remote software version OpenSSH_7.2p2 Ubuntu-4ubuntu2.1
debug1: match: OpenSSH_7.2p2 Ubuntu-4ubuntu2.1 pat OpenSSH* compat 0x04000000
debug2: fd 3 setting O_NONBLOCK
debug1: Authenticating to magicbox:4XXX as 'phreakster'
debug3: put_host_port: [magicbox]:4XXX
debug3: hostkeys_foreach: reading file "/home/phreakster/.ssh/known_hosts"
debug3: send packet: type 20
debug1: SSH2_MSG_KEXINIT sent
debug3: receive packet: type 20
debug1: SSH2_MSG_KEXINIT received
debug2: local client KEXINIT proposal
debug2: KEX algorithms: curve25519-sha256@libssh.org,ecdh-sha2-nistp256,ecdh-sha2-nistp384,ecdh-sha2-nistp521,diffie-hellman-group-exchange-sha256,diffie-hellman-group-exchange-sha1,diffie-hellman-group14-sha1,ext-info-c
debug2: host key algorithms: ecdsa-sha2-nistp256-cert-v01@openssh.com,ecdsa-sha2-nistp384-cert-v01@openssh.com,ecdsa-sha2-nistp521-cert-v01@openssh.com,ssh-ed25519-cert-v01@openssh.com,ssh-rsa-cert-v01@openssh.com,ecdsa-sha2-nistp256,ecdsa-sha2-nistp384,ecdsa-sha2-nistp521,ssh-ed25519,rsa-sha2-512,rsa-sha2-256,ssh-rsa
debug2: ciphers ctos: chacha20-poly1305@openssh.com,aes128-ctr,aes192-ctr,aes256-ctr,aes128-gcm@openssh.com,aes256-gcm@openssh.com,aes128-cbc,aes192-cbc,aes256-cbc,3des-cbc
debug2: ciphers stoc: chacha20-poly1305@openssh.com,aes128-ctr,aes192-ctr,aes256-ctr,aes128-gcm@openssh.com,aes256-gcm@openssh.com,aes128-cbc,aes192-cbc,aes256-cbc,3des-cbc
debug2: MACs ctos: umac-64-etm@openssh.com,umac-128-etm@openssh.com,hmac-sha2-256-etm@openssh.com,hmac-sha2-512-etm@openssh.com,hmac-sha1-etm@openssh.com,umac-64@openssh.com,umac-128@openssh.com,hmac-sha2-256,hmac-sha2-512,hmac-sha1
debug2: MACs stoc: umac-64-etm@openssh.com,umac-128-etm@openssh.com,hmac-sha2-256-etm@openssh.com,hmac-sha2-512-etm@openssh.com,hmac-sha1-etm@openssh.com,umac-64@openssh.com,umac-128@openssh.com,hmac-sha2-256,hmac-sha2-512,hmac-sha1
debug2: compression ctos: none,zlib@openssh.com,zlib
debug2: compression stoc: none,zlib@openssh.com,zlib
debug2: languages ctos: 
debug2: languages stoc: 
debug2: first_kex_follows 0 
debug2: reserved 0 
debug2: peer server KEXINIT proposal
debug2: KEX algorithms: curve25519-sha256@libssh.org,ecdh-sha2-nistp256,ecdh-sha2-nistp384,ecdh-sha2-nistp521,diffie-hellman-group-exchange-sha256,diffie-hellman-group14-sha1
debug2: host key algorithms: ssh-rsa,rsa-sha2-512,rsa-sha2-256
debug2: ciphers ctos: chacha20-poly1305@openssh.com,aes128-ctr,aes192-ctr,aes256-ctr,aes128-gcm@openssh.com,aes256-gcm@openssh.com
debug2: ciphers stoc: chacha20-poly1305@openssh.com,aes128-ctr,aes192-ctr,aes256-ctr,aes128-gcm@openssh.com,aes256-gcm@openssh.com
debug2: MACs ctos: umac-64-etm@openssh.com,umac-128-etm@openssh.com,hmac-sha2-256-etm@openssh.com,hmac-sha2-512-etm@openssh.com,hmac-sha1-etm@openssh.com,umac-64@openssh.com,umac-128@openssh.com,hmac-sha2-256,hmac-sha2-512,hmac-sha1
debug2: MACs stoc: umac-64-etm@openssh.com,umac-128-etm@openssh.com,hmac-sha2-256-etm@openssh.com,hmac-sha2-512-etm@openssh.com,hmac-sha1-etm@openssh.com,umac-64@openssh.com,umac-128@openssh.com,hmac-sha2-256,hmac-sha2-512,hmac-sha1
debug2: compression ctos: none,zlib@openssh.com,zlib
debug2: compression stoc: none,zlib@openssh.com,zlib
debug2: languages ctos: 
debug2: languages stoc: 
debug2: first_kex_follows 0 
debug2: reserved 0 
debug1: kex: algorithm: curve25519-sha256@libssh.org
debug1: kex: host key algorithm: rsa-sha2-512
debug1: kex: server->client cipher: chacha20-poly1305@openssh.com MAC: <implicit> compression: none
debug1: kex: client->server cipher: chacha20-poly1305@openssh.com MAC: <implicit> compression: none
debug3: send packet: type 30
debug1: expecting SSH2_MSG_KEX_ECDH_REPLY
debug3: receive packet: type 31
debug1: Server host key: ssh-rsa SHA256:6hMkyfTTLjmxw1l7t1N6QdyQ39/asNr3ysnf6YiZF90
debug3: put_host_port: [192.168.1.100]:4XXX
debug3: put_host_port: [magicbox]:4XXX
debug3: hostkeys_foreach: reading file "/home/phreakster/.ssh/known_hosts"
debug3: hostkeys_foreach: reading file "/home/phreakster/.ssh/known_hosts"
debug1: checking without port identifier
debug3: hostkeys_foreach: reading file "/home/phreakster/.ssh/known_hosts"
debug3: record_hostkey: found key type RSA in file /home/phreakster/.ssh/known_hosts:1
debug3: load_hostkeys: loaded 1 keys from magicbox
debug3: hostkeys_foreach: reading file "/home/phreakster/.ssh/known_hosts"
debug3: record_hostkey: found key type RSA in file /home/phreakster/.ssh/known_hosts:2
debug3: load_hostkeys: loaded 1 keys from 192.168.1.100
debug1: Host 'magicbox' is known and matches the RSA host key.
debug1: Found key in /home/phreakster/.ssh/known_hosts:1
debug1: found matching key w/out port
debug3: send packet: type 21
debug2: set_newkeys: mode 1
debug1: rekey after 134217728 blocks
debug1: SSH2_MSG_NEWKEYS sent
debug1: expecting SSH2_MSG_NEWKEYS
debug3: receive packet: type 21
debug2: set_newkeys: mode 0
debug1: rekey after 134217728 blocks
debug1: SSH2_MSG_NEWKEYS received
debug2: key: /home/phreakster/.ssh/id_rsa (0x5632e238dcc0), agent
debug2: key: /home/phreakster/.ssh/id_dsa ((nil))
debug2: key: /home/phreakster/.ssh/id_ecdsa ((nil))
debug2: key: /home/phreakster/.ssh/id_ed25519 ((nil))
debug3: send packet: type 5
debug3: receive packet: type 7
debug1: SSH2_MSG_EXT_INFO received
debug1: kex_input_ext_info: server-sig-algs=<rsa-sha2-256,rsa-sha2-512>
debug3: receive packet: type 6
debug2: service_accept: ssh-userauth
debug1: SSH2_MSG_SERVICE_ACCEPT received
debug3: send packet: type 50
debug3: receive packet: type 51
debug1: Authentications that can continue: publickey
debug3: start over, passed a different list publickey
debug3: preferred gssapi-keyex,gssapi-with-mic,publickey,keyboard-interactive,password
debug3: authmethod_lookup publickey
debug3: remaining preferred: keyboard-interactive,password
debug3: authmethod_is_enabled publickey
debug1: Next authentication method: publickey
debug1: Offering RSA public key: /home/phreakster/.ssh/id_rsa
debug3: send_pubkey_test
debug3: send packet: type 50
debug2: we sent a publickey packet, wait for reply
debug3: receive packet: type 60
debug1: Server accepts key: pkalg rsa-sha2-512 blen 535
debug2: input_userauth_pk_ok: fp SHA256:bmRy0HPjGc4St7qkhRk8od6P+2+EruyEAutwGTtpGL8
debug3: sign_and_send_pubkey: RSA SHA256:bmRy0HPjGc4St7qkhRk8od6P+2+EruyEAutwGTtpGL8
sign_and_send_pubkey: signing failed: agent refused operation
debug1: Trying private key: /home/phreakster/.ssh/id_dsa
debug3: no such identity: /home/phreakster/.ssh/id_dsa: No such file or directory
debug1: Trying private key: /home/phreakster/.ssh/id_ecdsa
debug3: no such identity: /home/phreakster/.ssh/id_ecdsa: No such file or directory
debug1: Trying private key: /home/phreakster/.ssh/id_ed25519
debug3: no such identity: /home/phreakster/.ssh/id_ed25519: No such file or directory
debug2: we did not send a packet, disable method
debug1: No more authentication methods to try.
Permission denied (publickey).

[[Отредактируйте 2]]

Я также, сделал следующее:

• удаленный правило ufw, предоставляющее доступ к серверу на порте 22
• добавленное правило ufw, предоставляющее доступ на порте 4XXX
• измененный/etc/ufw/applications.d/openssh-server и измененный порт от 22 до 4XXX

Я перезапустил SSHD, adn я все еще получаю ошибочные сообщения отладки, показанные ранее в этом вопросе.

Так, что я должен сделать, для соединения использования SSH, к удаленному серверу с помощью нестандартного порта?

[[ОБНОВЛЕНИЕ]]

После всего экспериментирования выше, пытаясь решить вопрос один, теперь я не могу даже войти в порт использования сервера 22 - FML!