Для последних версий Rstudio с Qt5:
cd /usr/lib/rstudio/bin/plugins/platformthemes sudo ln -s /usr/lib/x86_64-linux-gnu/qt5/plugins/platformthemes/libappmenu-qt5.so libappmenu-qt5.so