Мне удалось исправить проблему, изменив права собственности и разрешения на самой папке, я использовал это:
sudo chown username:username /home/username sudo chmod 700 /home/username
Это устранило проблему сразу для меня.