da Hardware Upgrade :
Google sta puntando tutto sull’intelligenza artificiale, come abbiamo visto nei numerosi annunci fatti in occasione del più recente Google I/O. I servizi che fanno leva sui modelli di apprendimento di IA sono numerosi, e tutti hanno lo stesso problema: richiedono un’enorme potenza di calcolo per gestire le elaborazioni relative ai Large Language Model. Per questo Google Cloud aveva reso disponibili macchine virtuali basate sulle GPU L4 Tensor Core di NVIDIA.
In occasione di Google I/O, il colosso ha annunciato un nuovo supercomputer progettato proprio per accelerare i calcoli relativi all’addestramento dei modelli di machine learning: A3. Le VM basate su A3 consentiranno ai clienti di Google Cloud di accelerare significativamente l’addestramento dei propri modelli di machine learning.
Il supercomputer A3 di Google Cloud per accelerare i calcoli relativi all’IA
Il nuovo supercomputer A3 di Google Cloud è basato sui tensor core H100 di NVIDIA e sfrutta una IPU (Infrastructure Processing Unit) in grado di trasferire dati a 200 GB/s per spostare informazioni da una GPU all’altra, bypassando il processore centrale. Un accorgimento che ha consentito a Google di ottenere una banda passante 10 volte superiore a quelle delle VM A2.
A3 è un’architettura scalabile, che può arrivare a ben 26 exaFlops nell’elaborazione dei calcoli relativi all’IA. Rispetto ad A2, i calcoli sull’inferenza sono 30 volte più veloci.
Una singola macchina virtuale basata su A3 può sfruttare fino a 8 GPU H100 e si appoggia su CPU Intel Xeon Scalable di quarta generazione. Ogni host può avere fino a 2 TB di RAM DDR5 a 4.800 MHz.
Secondo Noam Shazeer, CEO di Character.AI, “le istanze VM A3 di Google Cloud forniscono la potenza di calcolo e la scalabilità per i nostri carichi di lavoro di addestramento e inferenza più impegnativi. Non vediamo l’ora di sfruttare la loro esperienza sull’AI e la leadership nell’infrastruttura su larga scala per fornire una solida piattaforma per i nostri carichi di lavoro ML“.