Я попробовал пару подходов, и только один из них работал для меня: https://support.mozilla.org/en-US/questions/1012864#answer-609391
Все вам нужно открыть about:config в Firefox и добавить значение boolean network.protocol-handler.expose.magnet со значением false. Когда вы нажмете ссылку на магнит, вам будет предложено выбрать ваше любимое приложение, чтобы открыть ссылку.
Я использую Ubuntu 17.10 и Firefox 56