файл bash для управления общедоступными частями и история веб-сайта

scp --help или man scp сказали бы вам, что опция -P port. Вам также нужно объявить это перед аргументами файла:

scp -P 2000 -i ~/.ssh/id_rsa.pub user@remotebox.remotedomain.tld:~/.ssh/id_rsa_localbox.pub

Я также не буду доверять ~ -относительным ссылкам. Если вы можете использовать полные пути.

Но если вы копируете идентификаторы, ssh-copy-id также имеет возможность предоставлять параметры подключения SSH:

ssh-copy-id -i ~/.ssh/id_rsa.pub '-p 2000 user@remotebox.remotedomain.tld'