Читатель Tensorflow замедляется на Ubuntu 16.04

Я не очень опытен с Linux, и ОС не могла бы быть проблемой.

Я экспериментирую с tensorflow и врезаюсь в стену. У меня есть сценарий удара, который запускает программы Python, последовательно учебные с различными гиперпараметрами. Я использую cuda 7.5 и cudnn 4 для вычислений на видеокарте, данные находятся в tensorflow формате, и я использую TFReadRecords в качестве читателя.

Первоначально все хорошо работает. Проблема состоит в том, что сценарий Python замедлится 10-20x случайным образом спустя несколько часов после того, как я запущу сценарий удара, сначала обычно во время одного из первых 3 сценариев Python.

Обычно это берет ~50-60%-ю загрузку ЦП, чтобы считать данные и передать его GPU, но во время замедления я заметил в системном мониторе, то, что это ограничено одним единственным ядром CPU (см. снимки экрана быстро, медленный).

Это может убыстриться (распределяемый на всех 4 ядрах) и замедляться снова несколько раз. Иногда это делает это самостоятельно, иногда это возвращается к нормальному, когда я открываю и закрываю программы и иногда это, привычка убыстряется снова вообще. Это происходит более часто дольше выполнения сценария удара.

Вещи я попробовал и не помог: - установка хорошего значения к-20 из Python пишут сценарий сценария удара или терминала - изменяющейся привязки ЦП с taskset - выполнение его от консоли при остановке lightdm

Любые предложения были бы большими!

0
задан 8 August 2016 в 22:43

1 ответ

Сколько памяти на Вашем GPU (еще лучше, его модель нет.) и у Вас есть оценка проблемной емкости памяти?

я задаюсь вопросом, делает ли это некоторый GPU, эквивалентный из перегрузки. Все еще то, что это могло восстановиться от медленной спины до быстрого, указывает на что-то в алгоритме. Действительно ли это - общедоступная программа (скажите что пример программы), или одно собственное? Это первая "большая" программа, что Вы судили или выполнили или сделали, чтобы Вы выполнили других, которые, по-видимому, хорошо работали.

0
ответ дан 28 September 2019 в 17:23

Другие вопросы по тегам:

Похожие вопросы: