Автоматизация Ubuntu gui

Я действительно хочу знать, есть ли какая-либо возможность получить контроль над любым апликации (любой тип пользовательского интерфейса) на Ubuntu программно?

Я знаю, что существует много приложений / сценариев автоматизации gui (например : RobotJS для NodeJS, PyAutoGUI для Python), но они обеспечивают базовый контроль над системой (управление клавиатурой / мышью и снимки экрана), поэтому я считаю, что этот подход не очень удобен для меня, потому что вы должны точно вычислить курсор мыши позицию для каждого действия (с учетом размера и положения рамы приложения, которые могут время от времени меняться).

Итак, я хочу получить прямой доступ к элементам GUI любого приложения программно, поскольку MouseRobot может это сделать ( для Windows). Можно ли контролировать каждый элемент gui индивидуально на Ubuntu? Напр. Я хочу написать скрипт, который откроет libre offcie и сделает некоторые действия над кнопками или текстовыми полями по их системному идентификатору или что-то вроде этого (не перемещая позицию курсора и не делая событие щелчка системы). Извините за такой вопрос noob, но я действительно хочу знать, возможно ли это.