правильный способ изменить xmodmap

Мои ~/.Xmodmap:

remove mod1 = Alt_R
add mod1 = Alt_R

мои ~/.profile:

if [ -n "$BASH_VERSION" ]; then
    # include .bashrc if it exists
    if [ -f "$HOME/.bashrc" ]; then
  . "$HOME/.bashrc"
    fi
fi

if [ -f $HOME/.Xmodmap ]; then
    /usr/bin/xmodmap $HOME/.Xmodmap
fi

Почему я не могу изменить свою xmodmap?