Если ваш ключ не имеет пароля и назван как один из файлов, который ssh попытается найти при идентификации (~/.ssh/id_dsa или ~/.ssh/id_rsa), вам не нужно добавлять его к вашему агенту.
НО. Если есть хоть малейшая вероятность похищения этих файлов, вы просто позволили бы кому-либо получить доступ к серверам, на которых вы используете это удостоверение. Короче говоря, pwned.
ИМХО, секретные ключи без пароля - это плохая практика и должны использоваться только в средах, где ~/.ssh/authorized_keys очень ограничивает.