Ограничить доступ пользователей к графическому процессору

Я хочу ограничить доступ к использованию GPU (с точки зрения резервирования памяти на нем) для определенных пользователей на совместно используемой рабочей станции. Поэтому, если пользователь пытается получить доступ к GPU на SSH, например через CUDA, этот запрос будет отклонен. Любые идеи, где начать искать это?

Спасибо заранее!