NVIDIA presenta i nuovi chip AI top di gamma H200

Nelle scores ore NVIDIA ha presentato il suo nuovo chip AI top di gamma, ovvero il nuovo HGX H200. Questa nuova GPU aggiorna il già apprezzato H100, con una larghezza di banda della memoria 1,4 volte maggiore e una capacità di memoria 1,8 volte maggiore, migliorando così la sua capacità di gestire lavori complessi di AI generativa. I primi chip H200 saranno rilasciati nel secondo trimestre del 2024. NVIDIA ha affermato che sta lavorando con “produttori di sistemi globali e fornitori di servizi cloud” per renderli disponibili a tutti ed evitare la carenza di prodotto, come accaduto con gli H100. Ad oggi, però, il portavoce di NVIDIA, Kristin Uchiyama, ha rifiutato di commentare i numeri di produzione.

Chip AI H200 NVIDIA: uso ed efficienza della GPU ancora più ottimizzati

Memoria a parte, l'H200 sembra essere sostanzialmente uguale all'H100 (chip che ha svolto un ruolo fondamentale nell'addestramento di GPT-4, ovvero il LLM avanzato di OpenAI). Tuttavia, le modifiche alla memoria sono significative. La nuova GPU è la prima a utilizzare una nuova specifica di memoria più veloce chiamata HBM3e. Questo porta la larghezza di banda della memoria della GPU a 4,8 terabyte al secondo, rispetto ai 3,35 terabyte al secondo dell'H100, e la sua capacità di memoria totale a 141 GB, rispetto agli 80 GB del suo predecessore. Come dichiarato da Ian Buck, vicepresidente di Nvidia per l'hyperscale e l'high-performance, durante la presentazione del nuovo chip: “L'integrazione di una memoria HBM più veloce e più estesa serve ad accelerare le prestazioni in attività computazionalmente impegnative, incluse i modelli di AI generativa e le applicazioni di [high-performance computing], ottimizzando al contempo l'utilizzo e l'efficienza della GPU”.

L'H200 è inoltre costruito per essere compatibile con gli stessi sistemi che già supportano gli H100. NVIDIA afferma che i fornitori di cloud non dovranno effettuare alcuna modifica quando aggiungeranno gli H200 al mix. I servizi cloud di Amazon, Google, Microsoft e Oracle saranno tra i primi a offrire le nuove GPU il prossimo anno. NVIDIA ad oggi non ha rivelato il costo dei nuovi chip H200. La CNBC ha rivelato che gli attuali H100 vengono venduti ad un prezzo che va dai 25.000 e i 40.000 dollari al pezzo. I nuovi chi saranno sicuramente più costosi. Tuttavia, come ha sottolineato il portavoce di NVIDIA, i prezzi non sono fissi e vengono stabiliti dai partner della società.