Если вы перейдете в каталог, в котором установлено ваше приложение, удалите его, но перейдите к programfiles/users/startmenu/programs,[applicationfolder] и удалите папку, которая больше не будет отображаться в стартовом меню.