NVIDIA представила графический процессор H100 NVL со 188 ГБ памяти

NVIDIA представила новый графический процессор Hopper H100 NVL со 188 ГБ памяти HBM3, разработанный специально для языковых моделей. Кроме того, NVIDIA анонсировал ещё несколько ускорителей.

Hopper H100 NVL

Графическая карта H100 NVL PCIe представляет собой две карты H100 PCIe, уже соединенных вместе через три моста NVLink Gen4. Преимуществом является больший объём памяти. Комбинация из двух графических процессоров предлагает 188 ГБ памяти HBM3 (94 ГБ на карту) – больше памяти на один графический процессор, чем любая другая часть NVIDIA на сегодня, даже в семействе H100.

H100 NVL имеет полный 6144-битный интерфейс памяти (1024-битный для каждого стека HBM3) и скорость памяти до 5,1 ГБит/с. Это означает, что максимальная пропускная способность составляет 7,8 ГБ/с, что более чем в два раза выше, чем у H100 SXM.

Судя по информации и изображениям, опубликованным NVIDIA, H100 NVL (H100 NVLink) будет иметь три разъема NVLink наверху, а две соседние карты вставляются в отдельные слоты PCIe. Всё это позволит обрабатывать до 175 млрд параметров ChatGPT в режиме реального времени. Серверы, оснащенные графическими процессорами H100 NVL, повышают производительность модели GPT-175B до 12 раз по сравнению с системами NVIDIA DGX A100, сохраняя при этом низкую задержку в средах центров обработки данных с ограниченным энергопотреблением.

NVIDIA L4

Графические процессоры NVIDIA L4 с тензорными ядрами обеспечивают до 120 раз более высокую производительность ИИ-видео, что приводит к повышению энергоэффективности до 99% и снижению совокупной стоимости владения по сравнению с традиционной инфраструктурой на базе ЦП.

NVIDIA L40

Графический процессор NVIDIA L40 на основе архитектуры Ada Lovelace обеспечивает революционные возможности графики на основе нейронных сетей, виртуализации, вычислений и искусственного интеллекта для задач дата-центра с ускорением на GPU. L40 служит ядром NVIDIA Omniverse, платформы для создания и эксплуатации приложений метавселенной, и обеспечивает увеличение производительности вывода для Stable Diffusion в 7 раз и увеличение производительности Omniverse в 12 раз по сравнению с предыдущим поколением специализированных ускорителей для ЦОД.

NVIDIA Grace Hopper

Новый суперчип NVIDIA, Grace Hopper, соединяет ЦП Grace и ГП Hopper через высокоскоростной когерентный интерфейс между чипами со скоростью 900 ГБ/с. По словам Дженсена Хуанга, главного директора NVIDIA, Grace Hopper идеально подходит для обработки гигантских наборов данных, таких как базы данных ИИ для рекомендательных систем и больших языковых моделей.

Доступность

Ожидается, что графический процессор H100 NVL будет запущен во второй половине нынешнего года. Стоимость новинки компания пока не раскрывает.