Ваша сессия .ssh имеет 3 переменных среды:
SSH_CLIENT=127.0.0.1 42421 22
SSH_CONNECTION=127.0.0.1 42421 127.0.0.1 22
SSH_TTY=/dev/pts/3
Ваши значения после «=» могут отличаться.
Вы можете проверить файл .zshrc для них и сделать что-то другое.