Как упоминалось Томом в одном из комментариев, попробуйте следующее:
ssh-add path
, где path - это путь к вашему файлу .pem. [!d2 ]