da Hardware Upgrade :
L’architettura di IA on-demand più scalabile al mondo. Questo l’obiettivo della partnership stretta fa AWS e NVIDIA, che mirano a ottimizzare questa infrastruttura per il training di large language model (per capirci, quelli che interpretano e comunicano in linguaggio naturale, stile ChatGPT) e per lo sviluppo di applicazioni di IA generativa (per esempio, la generazione di immagini e video partendo da prompt). Secondo le due aziende, la potenza complessiva arriverà a ben 20 exaFLOP.
NVIDIA e AWS realizzano un supercluster per il deep learning
La nuova infrastruttura per i calcoli di IA di AWS e NVIDIA sarà basata su delle istanze P5 di Amazon EC2 basate sulle GPU H100 Tensor Core dell’azienda californiana. Queste istanze sono le prime a sfruttare la seconda generazione dell’infrastruttura di rete Elastic Fabric Adapter, che garantisce una banda molto ampia (3.200 Mbps) così da consentire ai clienti di utilizzare fino a un massimo di 20.000 GPU H100.
La collaborazione fra NVIDIA e AWS non è in ogni caso nata ora: è da 13 anni che le due imprese collaborano. Il primo esempio sono state le istanze AWS basata su GPU CG1. Le nuove GPU H100 però sono ideali per accelerare i calcoli sui large language model: ognuna di esse garantisce 16 petaFLOP di potenza di calcolo, permettendo di accelerare i calcoli fino a 6 volte rispetto ad altre soluzioni. Questo, secondo AWS, permette di ridurre i tempi di addestramento dei modelli di IA a poche ore, invece di giorni interi. Il risultato sono costi di sviluppo abbattuti fino al 40%.
Fra i clienti della soluzione aziende quali Anthropic, Cohere, Hugging Face, Pinterest e Stability AI. “Utilizziamo il deep learning in modo estensivo attraverso la nostra piattaforma per operazioni come l’etichettatura e la categorizzazione dei miliardi di foto caricate sulla nostra piattaforma e per abilitare la ricerca visiva che permette ai nostri utenti la capacità di passare dall’ispirazione all’azione“, afferma David Chaiken, Chief Architect di Pinterest. “Abbiamo costruito e implementato questi casi d’uso sfruttando le istanze GPU di AWS come P3 e le ultime istanze P4d. Siamo entusiasti di utilizzare le istanze Amazon EC2 P5 dotate di GPU H100, EFA e Ultraclusters per accelerare lo sviluppo dei nostri prodotti e portare nuove esperienze basate sull’IA Empatica ai nostri clienti“.