Как настроить быструю систему с Ubuntu, установленным на рабочей станции для научных вычислений [закрыто]

Я отвечаю за мощную рабочую станцию ​​для поддержки научных вычислений в нашем исследовательском центре. Мы решили запустить на машине Ubuntu 16.04 LTS. Однако я уже много лет не выполняю подобных задач. В прошлый раз, когда я управлял кластером / рабочей станцией, раньше использовал CentOS. Я пишу, чтобы спросить вашего совета в основном по двум вопросам:

  1. Как мне настроить ограниченное пространство для хранения для максимальной производительности? Машина имеет несоответствующий по производительности 512 ГБ SSD + 2 ТБ HDD. В будущем он может быть расширен за счет увеличения количества PCIe-SSD и жестких дисков, и у нас будет 10-20 пользователей, которые будут использовать этот компьютер.Следует ли использовать LVM для всех разделов с файловыми системами btrfs для быстрого создания моментальных снимков? Я думаю, что LVM и btrfs хороши для будущих расширений дисков с хорошей производительностью, но могут увеличить сложность системы, учитывая, что один / home или корневой каталог может быть размещен на обоих обычных 2,5-дюймовых дисках. SSD и более быстрые твердотельные накопители PCIe m.2.

  2. Какое программное обеспечение подходит для управления отправкой заданий, учитывая, что в настоящее время машина имеет 28 ядер с 1 графическим процессором для CUDA (Matlab и т.п.) и программирования общего назначения? В будущем мы можем установить больше графических процессоров. Было бы неплохо объединиться в сеть с другими компьютерами в виде мини-кластера, но в настоящее время у нас еще нет плана.

Ниже представлен мой первоначальный план группировки разделов, и я слышал, что Slurm хорошо подходит для управления очередью заданий. PBS / TORQUE также хорош для управления очередью заданий. Не уверен, какой из них лучше для моего случая.

512 ГБ SSD ( / dev / sda ) :

/ boot , ext2, 250 МБ

/ swap , LVM-SWAP, 10 ГБ (32 ГБ памяти установлен, который будет обновлен с помощью SSD-карт PCIe-NVM позже)

/ (root), LVM-btrfs, 100 ГБ (будет использоваться для установки большого количества общего программного обеспечения)

/ home , LVM-btrfs, ~ 400 ГБ

2 ТБ HDD (/ dev / sdb) :

/ backup , LVM-btrfs, 1 ТБ (у нас также есть удаленный сервер резервного копирования)

/ data , LVM-btrfs, 1TB

На данном этапе я не уверен ни в стратегии резервного копирования, ни в файловой структуре.Учитывая ограниченное пространство SSD, мы уменьшаем / home , чтобы он оставался только на SSD, чтобы предоставить текущим ~ 10 пользователям достаточно места для программ и оставить место для будущих расширений карты PCIe NVM SSD. Итак, если у вас есть какие-то мысли по другим аспектам конфигурации рабочей станции, пожалуйста, не стесняйтесь публиковать их.

Заранее благодарю!

5
задан 12 November 2016 в 20:31

1 ответ

Принятие Вас, возможно, нуждается в виртуализации, в некотором роде смотрят на Proxmox, поскольку это - потрясающее управление VM, настройка и система оркестровки. Proxmox поддерживает пользовательский менеджмент, сетевой менеджмент и кластерный менеджмент также и существует оба сильный разработчик & пользовательские сообщества.

BTRFS или ZFS дадут Вам возможности снимка/восстановления. У каждого есть его собственное Плюс/Минусы. BTRFS работает отлично для моих серверов.. просто не используйте его возможность Raid5 в качестве его поврежденного. Я использую BTRFS Raid10.

Резервные копии для такой большой группы пользователей & серьезная работа не должна быть в той же реальной машине.

Разрабатывают политику безопасности для пользователей & сетевая защита также.

0
ответ дан 23 November 2019 в 10:55

Другие вопросы по тегам:

Похожие вопросы: