H100 & H200

Grace Hooper mimarisi ile Hızlandırılmış Bilgi İşlem için Büyük Bir Sıçrama ! !

Benzeri görülmemiş performans, ölçeklenebilirlik ve güvenlikten yararlanabilirsiniz. .

NVIDIA H100 Tensor Core GPU ile iş yükü. NVIDIA NVLink Anahtar Sistemi, Exascale'i hızlandırmak için düşünüldü.
Trilyon parametreli dil modelleri: H100'ün birleşik teknolojik yenilikleri, büyük dil modellerini (LLM'ler) öncekine göre 30 kat hızlandırabilir; örnek olarak Megatron chatbot çıkarımı (530 milyar parametre) ile sektör lideri konuşma yapay zekası sunar.

Dönüşümsel Yapay Zeka Eğitimi

H100, 4.nesil Tensör Çekirdeklerine ve FP8 hassasiyetine sahip Transformer Engine'e sahiptir.
GPT-3 (175B) modelleri için önceki nesle göre 4 kata kadar daha hızlı eğitim performansı sağlar.
H200 bellek tarafında yeni HBM 3E ile daha yüksek kapasite ve yüksek hızla kuvvetlendirilmiştir. Bellek yüzünden hizin limitlendigi uygulamalarda %40 varan ek kazanımlar beklenebilir.

Exascale Yüksek Performanslı Bilgi İşlem

NVIDIA veri merkezi platformu, sürekli olarak Moore yasasının ötesinde performans kazanımları sağlar. Ve H100'ün yeni çığır açan yapay zeka yetenekleri, bilim adamları ve araştırmacılar için keşif süresini hızlandırmak üzere HPC+AI 'nin gücünü daha da artırmaktadır.

H100, çift duyarlıklı Tensör Çekirdeklerinin saniye başına kayan nokta işlemlerini (FLOPS) üç katına çıkararak HPC için 60 teraflop FP64 bilgi işlem sağlar.

Yapay zeka ile birleştirilmiş HPC uygulamaları, sıfır kod değişikliğiyle tek kesinlikli matris çarpma işlemlerinde 1 petaflop iş hacmi elde etmek için H100'ün TF32 kesinliğinden de yararlanabilir.


H100 ayrıca, DNA dizisi hizalaması için Smith-Waterman gibi dinamik programlama algoritmalarında A100 'e göre 7 kat daha yüksek performans ve CPU'lara göre 40 kat hızlanma sağlayan yeni DPX yönergelerine ve protein yapısı tahmini için protein hizalamasına sahiptir.

MIG özellikli H100, altyapı yöneticilerinin GPU hızlandırmalı altyapılarını standartlaştırmasına olanak tanırken, geliştiricilere doğru miktarda hızlandırılmış bilgi işlemi güvenli bir şekilde sağlamak ve tüm GPU kaynaklarının kullanımını optimize etmek için GPU kaynaklarını daha fazla ayrıntı düzeyiyle sağlama esnekliğine sahip olur.