Похоже, что, поскольку я запускал anaconda, зависимости и пакеты должны быть установлены в виртуальной среде сами по себе.
Поэтому conda install matplotlib является решением.