NVIDIA için yapay zeka ağırlıklı bir duyuru listesi hazırlayan şirket, Grace Hopper “süper çipinin” tam üretime geçtiğini doğruladı. Grace CPU ve Hopper H100 GPU’nun birleşimi olan Grace Hopper, NVIDIA’nın iş yükleri için, özellikle de AI modelleri için daha sıkı entegre bir CPU + GPU çözümüne ihtiyaç duyan müşteriler için çözümü olacak şekilde tasarlanmıştır.
Birkaç yıldır üzerinde çalışılan Grace Hopper, NVIDIA’nın hem GPU alanındaki mevcut gücünü hem de CPU alanındaki yeni keşfedilen çabalarını en üst düzey rakiplerinin sunduğu hiçbir şeye benzemeyen yarı entegre bir CPU/GPU ürünü sunmaya yönelik çabalarıdır. NVIDIA’nın GPU alanındaki geleneksel hakimiyetiyle şirket, GPU hızlandırmasından yararlanan ancak tamamen ayrık GPU’ların olabileceği pazarlara erişmek için GPU teknolojilerini diğer işlemci türleri (CPU’lar, DPU’lar vb.) ile birleştirerek temelde geriye doğru çalışıyor. en iyi çözüm olamaz.
| NVIDIA Grace Hopper Spesifikasyonları | |||
| Grace Haznesi (GH200) | |||
| CPU Çekirdekleri | 72 | ||
| CPU Mimarisi | Kol Neoverse V2 | ||
| CPU Bellek Kapasitesi | <=480GB LPDDR5X (ECC) | ||
| CPU Bellek Bant Genişliği | <=512 GB/sn | ||
| GPU SM’leri | 132 | ||
| GPU Tensör Çekirdekleri | 528 | ||
| GPU Mimarisi | hazne | ||
| GPU Bellek Kapasitesi | <=96 GB | ||
| GPU Bellek Bant Genişliği | <=4TB/sn | ||
| GPU-CPU Arayüzü | 900 GB/sn NVLink 4 |
||
| TDP | 450W – 1000W | ||
| Üretim süreci | TSMC 4N | ||
| Arayüz | süper çip | ||
Bu ilk NVIDIA HPC CPU + GPU karışımında, Hopper GPU, denklemin bilinen tarafıdır. Sadece bu yıl hatırı sayılır hacimlerde sevkiyata başlasa da, NVIDIA bir yıldan uzun bir süre önce Hopper mimarisini ve performans beklentilerini detaylandırıyordu. 80B transistörlü GH100 GPU tabanlı H100, yapay zeka iş yükleri için 1 EFLOPS FP16 matris matematik işlem hacminin yanı sıra 80 GB HBM3 bellek sunar. H100’ün kendisi zaten büyük bir başarı – ChatGPT ve diğer üretken yapay zeka hizmetlerinin patlaması sayesinde, NVIDIA zaten yapabildikleri her şeyi satıyor – ancak NVIDIA, iş yüklerinin daha yakın CPU/GPU gerektirdiği pazarlara girme çabalarında ilerlemeye devam ediyor entegrasyon.
H100 ile eşleştirilen, kendisi de birkaç ay önce tam üretime geçen NVIDIA’nın Grace CPU’su. Arm Neoverse V2 tabanlı çip, 72 CPU çekirdeği içerir ve 480 GB’a kadar LPDDR5X bellekle birlikte gelir. CPU çekirdeklerinin kendileri oldukça ilginç olsa da, Grace ile ilgili en büyük değişiklik, NVIDIA’nın CPU’yu yuvalı DIMM’ler kullanmak yerine LPDDR5X ile birlikte paketleme kararı olmuştur. Paket içi bellek, NVIDIA’nın genişletilebilirlik pahasına hem daha yüksek saat hızına sahip hem de daha düşük güçlü bellek kullanmasına izin verdi ve bu da Grace’i piyasadaki diğer HPC sınıfı CPU’lardan farklı kılıyor. Hem veri kümesi boyutlarına hem de bu verileri karıştırmak için gereken bellek bant genişliğine yapılan vurgu göz önüne alındığında, Büyük Dil Modeli (LLM) eğitimi için potansiyel olarak çok önemli.
Sırayla, tek bir Grace Hopper kartını aynı kart üzerinde birbirine yapıştırılmış bir CPU ve GPU’dan daha fazlası olarak tanımlamaya yardımcı olan da bu veri karıştırmadır. NVIDIA, Grace’i NVIDIA’nın tescilli yüksek bant genişliğine sahip çip ara bağlantısı olan NVLink desteğiyle donattığı için Grace ve Hopper, geleneksel, PCIe tabanlı CPU + GPU kurulumundan çok daha hızlı bir ara bağlantıya sahiptir. Ortaya çıkan NVLink Chip-to-Chip (C2C) bağlantısı, iki yonga arasında 900 GB/saniye bant genişliği (her yönde 450 GB/sn) sunarak Hopper’a, Grace’in okuyabileceğinden veya yazabileceğinden daha hızlı bir şekilde Grace ile geri konuşma yeteneği verir. kendi hafızası.
NVIDIA’nın GH200 “süperçip” olarak adlandırdığı sonuçta ortaya çıkan anakart, NVIDIA’nın bir sonraki ürün döngüsü için yapay zeka ve HPC pazarlarına yanıtı olacak. Geleneksel bir CPU + GPU kurulumundan daha yerel bir CPU’ya veya belki de daha anlamlı bir şekilde, bağımsız bir GPU’nun donatabileceğinden daha fazla yarı yerel belleğe ihtiyaç duyan müşteriler için Grace Hopper, NVIDIA’nın şimdiye kadarki en kapsamlı bilgi işlem ürünüdür. Bu arada, yalnızca Grace (yalnızca CPU) süper çipinin ne kadar yaygın olacağına dair bazı belirsizlikler olsa da, NVIDIA’nın şu anda bir AI bükücü üzerinde olduğu göz önüne alındığında, Grace Hopper, Grace’i en çok gördüğümüz yer olabilir. ilave olarak.
NVIDIA’ya göre, GH200 yongaları içeren sistemlerin bu yılın sonlarında piyasaya çıkması planlanıyor.
DGX GH200 Yapay Zeka Süper Bilgisayarı: Grace Hopper Doğruca Büyük Liglere Gidiyor
Bu arada, Grace Hopper teknik olarak henüz piyasadan çıkmamış olsa da, NVIDIA şimdiden ilk DGX sistemini çip etrafında inşa etmeye çalışıyor. Bu durumda, “DGX”, diğer DGX sistemlerinden farklı olarak tek bir düğüm değil, tam bir çok raflı bilgi işlem kümesi olan sistem için biraz yanlış bir isim olabilir – bu nedenle NVIDIA onu “süper bilgisayar” olarak adlandırıyor ”
Yüksek düzeyde, DGX GH200 Yapay Zeka Süper Bilgisayarı eksiksiz, anahtar teslimi, 256 düğümlü bir GH200 kümesidir. Yaklaşık 24 rafa yayılan tek bir DGX GH200, 256 GH200 yongası ve dolayısıyla 256 Grace CPU ve 256 H100 GPU’nun yanı sıra işletim için sistemleri birbirine bağlamak için gereken tüm ağ donanımını içerir. Kümülatif toplamda, bir DGX GH200 kümesi 120 TB CPU’ya bağlı bellek, başka bir 24 TB GPU’ya bağlı bellek ve toplam 1 EFLOPS FP8 işlem hacmi (seyreklik ile) sunar.
Daha Yakından Bakın: Bu Bir Sunucu Düğümü Değil – Bu 24 Sunucu Rafı
Düğümleri birbirine bağlamak, NVLink etrafında oluşturulmuş iki katmanlı bir ağ sistemidir. 96 yerel, L1 anahtarı, GH200 kanatları arasında anında iletişim sağlarken, diğer 36 L2 anahtarı, L1 anahtarlarını birbirine bağlayan ikinci bir bağlantı katmanı sağlar. Ölçeklenebilirlik sizin için yeterli değilse, DGX GH200 kümelerinin boyutu, NVIDIA’nın ConnectX-7 ağ bağdaştırıcıları kullanımının bir parçası olarak kümede bulunan InfiniBand kullanılarak daha da büyütülebilir.
Büyük silikon kümesi için hedef pazar, büyük yapay zeka modellerini eğitiyor. NVIDIA, 256 düğümlü bir kümenin etrafındaki en büyük yapay zeka modellerinden bazılarını barındırmak için sağladığı çok miktarda bellek ve bellek bant genişliği ile birlikte, sahadaki mevcut donanım ve araç setlerine büyük ölçüde güveniyor. Büyük dil modellerine olan ilgideki son patlama, ne kadar bellek kapasitesinin kısıtlayıcı bir faktör olduğunu ortaya çıkardı; bu nedenle, NVIDIA’nın özellikle büyük modellere sahip müşteriler için tek satıcılı, entegre bir çözüm sunma girişimi budur.
Ve NVIDIA tarafından açıkça ifşa edilmese de, hepsinin DGX GH200 kümesi için tüm engelleri kaldırdığının bir işareti olarak, listeledikleri bellek kapasiteleri, NVIDIA’nın sistemin bir parçası olarak sadece normal H100 GPU’lar göndermediğini gösteriyor. bunun yerine, normalde devre dışı bırakılmış 6’ya sahip sınırlı kullanılabilirlikteki 96 GB modellerini kullanıyorlar.inci HBM3 bellek yığını etkinleştirildi. Şimdiye kadar, NVIDIA bu H100 varyantlarını yalnızca bir avuç üründe sunuyor – özel H100 NVL PCIe kartı ve şimdi bazı GH200 yapılandırmalarında – bu nedenle DGX GH200, NVIDIA’nın en iyi silikonlarından bazılarını alacak.
Elbette NVIDIA’dan bir süper bilgisayarın ucuza gelmesini beklemeyin. NVIDIA, HGX H100 anakart fiyatlandırmasına (200.000 $ karşılığında bir taşıyıcı kartta 8x H100) dayalı olarak bu kadar önceden herhangi bir fiyatlandırma açıklamasa da, tek bir DGX GH200 kolayca düşük 8 haneli bir yere mal olacak. DGX GH200’ün, çok sayıda büyük model eğitimi alması gereken ve eksiksiz, anahtar teslimi bir çözüm için ödeme yapmak için derin cep defterlerine sahip olan oldukça spesifik bir Kurumsal müşteri alt kümesini hedeflediğini söylemek yeterli.
Bununla birlikte, sonuçta, DGX GH200, NVIDIA’nın cebi zengin müşterilere satması için yalnızca üst düzey bir sistem anlamına gelmez, aynı zamanda hiper ölçekleyici müşterilerinin kendi GH200 tabanlı kümelerini oluşturmalarına yardımcı olacak bir plandır. Ne de olsa böyle bir sistem oluşturmak, onun nasıl çalıştığını ve ne kadar iyi çalıştığını göstermenin en iyi yoludur, dolayısıyla NVIDIA bu konuda kendi yolunu çiziyor. Ve NVIDIA, hiper ölçekleyiciler, CSP’ler ve çok sayıda GH200’ü benimseyen diğerleri (rakip ürünler değil) aldığı sürece, bu DGX sistemlerinin çoğunu doğrudan satmaktan hiç şüphesiz mutlu olacak olsa da, o zaman bu yine de devam edecek. NVIDIA’nın kitaplarında bir kazanç olun.
Bu arada, NVIDIA’ya göre DGX GH200 Yapay Zeka Süper Bilgisayarını karşılayabilen bir avuç işletme için sistemler yıl sonuna kadar hazır olacak.
