Просто добавьте команду, которую вы хотите запустить удаленно.
ssh user@ip-address rm -r backupFolder/
Выполняет одиночную команду на удаленном компьютере. В manpage SSH-клиента указан этот синтаксис:
SYNOPSIS
ssh [-1246AaCfgKkMNnqsTtVvXxYy] ...more options... [user@]hostname [command]
Как уже упоминалось в вашем вопросе, следует использовать аутентификацию открытого ключа для входа в систему без запроса пароля. Для других посетителей см. Раздел «Как настроить пароль без SSH-входа? для этого.