NVIDIA RIVELA LA GPU H100 PER L’INTELLIGENZA ARTIFICIALE E PRENDE IN GIRO “IL SUPERCOMPUTER AI PIU’ VELOCE DEL MONDO”
Il tutto costruito sulla nuova architettura Hopper dell’azienda
Nvidia ha annunciato una serie di prodotti aziendali incentrati sull’intelligenza artificiale alla sua conferenza annuale GTC. Includono dettagli della sua nuova architettura in silicio, Hopper; la prima GPU per datacenter costruita utilizzando quell’architettura, l’H100; un nuovo “superchip” della CPU Grace; e vaghi piani per costruire quello che la società sostiene sarà il supercomputer AI più veloce del mondo, chiamato Eos.
Nvidia ha beneficiato enormemente del boom dell’IA dell’ultimo decennio, con le sue GPU che si sono dimostrate perfette per i metodi di deep learning più diffusi e ad alta intensità di dati. Con la crescita della domanda di elaborazione dei dati del settore dell’intelligenza artificiale, afferma Nvidia, vuole fornire più potenza di fuoco.
In particolare, la società ha sottolineato la popolarità di un tipo di sistema di apprendimento automatico noto come Transformer. Questo metodo è stato incredibilmente fruttuoso, alimentando tutto, dai modelli linguistici come GPT-3 di OpenAI ai sistemi medici come AlphaFold di DeepMind. Tali modelli sono aumentati esponenzialmente di dimensioni nell’arco di pochi anni. Quando OpenAI ha lanciato GPT-2 nel 2019, ad esempio, conteneva 1,5 miliardi di parametri (o connessioni). Quando Google ha addestrato un modello simile solo due anni dopo, ha utilizzato 1,6 trilioni di parametri.
"La formazione di questi modelli giganti richiede ancora mesi"
Ha dichiarato Paresh Kharya, senior director of product management di Nvidia, in una conferenza stampa. “Quindi licenziate un lavoro e aspettate un mese e mezzo per vedere cosa succede. Una sfida chiave per ridurre questo tempo di formazione è che i miglioramenti delle prestazioni iniziano a diminuire man mano che si aumenta il numero di GPU in un data center”.
Nvidia says its new Hopper architecture will help ameliorate these difficulties. Named after pioneering computer scientist and US Navy Rear Admiral Grace Hopper, the architecture is specialized to accelerate the training of Transformer models on H100 GPUs by six times compared to previous-generation chips, while the new fourth-generation Nivida NVlink can connect up to 256 H100 GPUs at nine times higher bandwidth than the previous generation.
The H100 GPU itself contains 80 billion transistors and is the first GPU to support PCle Gen5 and utilize HBM3, enabling memory bandwidth of 3TB/s. Nvidia says an H100 GPU is three times faster than its previous-generation A100 at FP16, FP32, and FP64 compute, and six times faster at 8-bit floating point math.
“For the training of giant Transformer models, H100 will offer up to nine times higher performance, training in days what used to take weeks,” said Kharya.
The company also announced a new data center CPU, the Grace CPU Superchip, which consists of two CPUs connected directly via a new low-latency NVLink-C2C. The chip is designed to “serve giant-scale HPC and AI applications” alongside the new Hopper-based GPUs, and can be used for CPU-only systems or GPU-accelerated servers. It has 144 Arm cores and 1TB/s of memory bandwidth.
