Как указано в сообщении об ошибке, SDL не может получить доступ к мыши. Если эта ошибка не отображается как root (с помощью sudo), это, вероятно, проблема с разрешениями. Вы должны проверить разрешения /dev/input/mice.
Вероятно, что после устранения проблемы мыши будет показано то же поведение, что и при запуске с использованием sudo. Возможно, не стоит пытаться заставить его работать с фреймбуфером. Не зная деталей, я бы сказал, что использование X может стать лучшим решением.