Ошибка памяти при создании большого Hdf5 на Amazon AMI (p2.xlarge GPU, 61 ГБ памяти)

Всякий раз, когда я пытаюсь создать набор данных hdf5, я получаю сообщение об ошибке, говорящее о том, что недостаточно места. Я построил набор данных на своем локальном компьютере, и он составляет примерно 36 ГБ.

В настоящее время я использую экземпляр p2.xlarge с графическим процессором, который поставляется с 61 ГБ памяти. Прямо после ввода SSI в AMI я получаю сообщение:

Usage of "\" : 53%
Memory usage:  1%

Когда я запускаю df -h, я получаю, что у меня / dev/xvda1 на 53%, но 30 ГБ доступно в udev и tmpfs.

Я знаю, что файлы hdf5 хранят данные в виде двоичных файлов непосредственно на диске. Поэтому: Как я могу переместить файл hdf5, чтобы использовать диск для хранения, или udev или tmpfs?

0
задан 27 August 2019 в 00:30

0 ответов

Другие вопросы по тегам:

Похожие вопросы: