В /etc/xdg/xfce4/xfconf/xfce-perchannel-xml/xfce4-session.xml
Просто прокомментируйте раздел xfce-panel.