NVIDIA-SMI не показывает реальную загрузку графического процессора при обучении нейронной сети?

Я тренировался в нейронной сети в течение последних двух дней и иногда отслеживал использование графического процессора с помощью nvidia-smi, что дает следующий результат:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 430.40       Driver Version: 430.40       CUDA Version: 10.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 1080    Off  | 00000000:01:00.0 Off |                  N/A |
| 34%   44C    P8    12W / 200W |    208MiB /  8119MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0      1298      G   /usr/lib/xorg/Xorg                            22MiB |
|    0      1335      G   /usr/bin/sddm-greeter                         48MiB |
|    0      2904      G   /usr/lib/xorg/Xorg                            10MiB |
|    0     22777      G   /usr/lib/xorg/Xorg                            10MiB |
|    0     27625      C   python                                       103MiB |
+-----------------------------------------------------------------------------+

Странно, что он использует так мало, но все в порядке Я думал.

Затем я начал работать над другой нейронной сетью, которая также требовала некоторого обучения, поэтому я запустил учебный скрипт и получил следующую ошибку:

RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0; 7.93 GiB total capacity; 7.09 GiB already allocated; 66.00 MiB free; 17.45 MiB cached)

Что, по-видимому, указывает на то, что вся память графического процессора израсходована, что имеет смысл, но почему это не отражается при работе nvidia-smi?

0
задан 11 September 2019 в 18:36

0 ответов

Другие вопросы по тегам:

Похожие вопросы: