ubuntu 17.10, когда я открываю программу, я иду на блокировку экрана

Не рекомендуется вставлять tmux в качестве вложенного сеанса в byobu. Ваша конфигурация правильная и работает. Но не как сеанс в byobu.