Покупка графической карты для масштабирования процесса НЛП
этот вопрос больше связан с решением, какая графическая карта может служить моей цели. Я много исследовал и пришел к выводу, которым делюсь ниже. Перед этим позвольте мне определить, какова моя цель
Цель : Обучить модель nlp с более чем 400 тыс. Предложений или 1000 документов. Данные будут увеличиваться с течением времени.
Вопрос, ответ на который я до сих пор не могу найти, приведен ниже.
- Изучая Интернет, я обнаружил, что Nvidia Geforce RTX 3090 наиболее популярна в наши дни. Вопрос в том, сколько нагрузки или данных можно обучить с помощью этого графического процессора.
- Если в ближайшее время появится больше данных, сможет ли эта графическая карта справиться с этим.
1 ответ
Количество обучающих данных не имеет значения, вы всегда можете изменить размер партии для размещения полных данных, но вам потребуется более 16 ГБ VRAM для загрузки моделей типа Bert-Large.
3090 - лучший вариант на данный момент, он имеет 24 Гб VRAM, чем больше VRAM, тем более тяжелые модели вы сможете запускать.
Если вы можете позволить себе RTX Quadro 8000, то берите ее, она имеет максимальный объем VRAM, который может предложить любой графический процессор в настоящее время, и она будет перспективной.