Si parla spesso di acceleratori di intelligenza artificiale e di quanto NVIDIA stia dominando il settore, ma come si confrontano le varie soluzioni tra loro? Numeri interni delle varie aziende a parte, il settore sta cercando di darsi dei test per dare dei riferimenti quanto più indipendenti e comparabili.

Il benchmark MLPerf Inference, gestito dal consorzio MLCommons, prova a rispondere alla nostra domanda inziale. Grazie a MLPerf possiamo vedere come si confrontano gli acceleratori di NVIDIA rispetto alle proposte di Intel, mentre al momento latitano ancora le proposte di AMD, la quale ha annunciato parteciperà al test collettivo, anche se non è ancora chiaro quando.

Clicca per ingrandire

NVIDIA è al vertice della classifica, e non è frutto solo della potenza dell’hardware. Si può vedere come l’evoluzione e l’ottimizzazione software abbia portato l’acceleratore H100 a comportarsi nettamente meglio nei test della suite MLPerf Inference v4.0 rispetto a quelli della versione 3.1. MLPerf Inference v4.0 integra due nuovi benchmark, la generazione di immagini Stable Diffusion e un test sul modello Llama 2 70B.

Clicca per ingrandire

Il pezzo da novanta della nuova tornata di test è l’acceleratore H200, la versione aggiornata di H100 che vanta non solo una memoria maggiore, ma anche più veloce – si passa da 80 GB di HBM3 a 141 GB di HBM3E. Per molti dei LLM e GPT più moderni e più grandi, H200 rappresenta un aggiornamento significativo rispetto a H100. La memoria aggiuntiva e più veloce allevia i colli di bottiglia in alcune applicazioni, tanto che i risultati preliminari mostrano già fino al 45% di prestazioni in più rispetto a H200.

La memoria maggiorata consente al modello Llama 2 70B di funzionare integralmente su un singolo acceleratore H200, anziché “frammentarsi” su più GPU. Ne consegue, quindi, una minore necessità di “comunicare all’esterno” con altri acceleratori, cosa che va a migliorare le prestazioni complessive.

H200, in virtù della memoria HBM3E, offre una larghezza di banda di memoria maggiore rispetto ad H100, alleviando i colli di bottiglia nelle porzioni di carico legate alla bandwidth, favorendo così un miglior utilizzo dei Tensor Core e un maggiore throughput di inferenza.

Clicca per ingrandire

Il raffreddamento custom e il conseguente aumento del TDP nei sistemi partner può portare fino al 14% in più di prestazioni. Secondo NVIDIA, un acceleratore H200 con lo stesso TDP di 700 watt di uno H100 fornisce il 28% di prestazioni in più, mentre a 1000 watt il gap sale al 45%. NVIDIA, infine, ha fatto sapere che sta già lavorando sui sistemi Blackwell e che pubblicherà i relativi test tramite MLCommons non appena pronti.

Clicca per ingrandire

In attesa di AMD, Intel si candida come alternativa a NVIDIA. Con Gaudi 2 e un’opera di costante ottimizzazione, Intel vuole gettare le basi per un futuro di maggiore successo con Gaudi 3. Intel, al momento, punta molto sul rapporto tra prezzo e prestazioni. In tal senso si considera ben posizionata nel confronto tra configurazioni che mettono in contrapposizione 8 acceleratori Gaudi 2 con 8 NVIDIA H100.

Clicca per ingrandire

Intel ha iniziato molti anni fa a integrare capacità IA nelle proprie CPU e anche lì sta spingendo sull’acceleratore: l’azienda dichiara un importante incremento prestazionale dalle CPU Sapphire Rapids a quelle Emerald Rapids (Xeon Scalable 4a Gen, vs 5a Gen), un risultato figlio del software ottimizzato, all’aumento dei core, della cache L3 e della velocità di clock. Intel stima un boost fino al 42%: per una CPU “socket-compatibile” non è poco.

Ricordiamo che Intel e altri grandi player dell’industria stanno cercando, tramite la Unified Acceleration Foundation (UXL), di dare vita a un ecosistema software “multi-architettura” e “multi-produttore” per tutti gli acceleratori basati su standard open source: in poche parole un rivale di CUDA che porti gli sviluppatori a concentrarsi su soluzioni alternative alle proposte di NVIDIA. 

Se ne è vociferato nei mesi scorsi e alla fine l’accordo è arrivato: Embracer venderà Gearbox Software, lo studio responsabile della serie Borderlands, a Take-Two. La transazione ha un valore di 460 milioni di dollari e dovrebbe concludersi entro il primo trimestre dell’anno fiscale 2025 di quest’ultima.

In Take-Two, casa madre di Rockstar Games, Gearbox entrerà a far parte della famiglia 2K, un’etichetta editoriale della società statunitense impegnata soprattutto nei giochi sportivi. Lo studio continuerà ad essere guidato dal suo fondatore e CEO Randy Pitchford.

La vendita rientra in un processo di ristrutturazione e disinvestimento che Embracer ha iniziato l’anno scorso e che punta a ridurre il debito netto. La vendita di Gearbox contribuirà al taglio del debito per 3,2 miliardi di corone svedesi (circa 300 milioni di dollari). Si tratta di una vera e propria svendita, considerando che lo studio era stato acquisito da Embracer solo nel 2021 per 1,4 miliardi di dollari, circa 3 volte tanto.

“L’acquisizione di Gearbox segna il risultato di un processo di disinvestimento strutturato finale ed è un passo importante nella trasformazione di Embracer per un futuro con un debito netto notevolmente inferiore e un migliore flusso di cassa libero (FCF)” ha dichiarato Lars Wingefors, CEO di Embracer Group.

La vendita di Gearbox è solo l’ultimo sviluppo di un momento no per Embracer Group. La società annunciò che un accordo dal valore di 2 miliardi di dollari con una società mai rivelata era fallito. Da lì è iniziato un piano di ristrutturazione che ha visto la chiusura di diversi studi, tra cui Volition responsabile del franchise Saints Row, e diversi round di licenziamenti che hanno visto la forza lavoro ridursi di oltre 17.000 dipendenti.

I ricercatori della Aston University del Regno Unito sono riusciti a inviare dati a una velocità 4,5 milioni di volte superiore rispetto a quella che chiunque può sperimentare su una comune connessione a banda larga domestica.

La velocità è stata raggiunta aprendo nuove bande di lunghezze d’onda specifiche ancora inutilizzate nei sistemi in fibra ottica. I ricercatori sono riusciti a trasferire dati a una velocità di 301 terabit al secondo utilizzando un’unica fibra ottica standard. Nel Regno Unito, secondo un rapporto di Ofcom, la velocità media della banda larga è di 69,4 megabit al secondo.

Il dottor Ian Phillips con il dispositivo di gestione della lunghezza d’onda

Il professor Wladek Forysiak dell’Aston Institute of Photonic Technologies e il dottor Ian Phillips hanno dimostrato l’incredibile velocità lavorando in collaborazione con ricercatori del National Institute of Information and Communications Technology (NICT) in Giappone e dei Nokia Bell Labs negli Stati Uniti.

“Le diverse bande di lunghezze d’onda”, spiegano i ricercatori, “equivalgono a diversi colori della luce trasmessi lungo la fibra ottica“. L’uso di queste bande è stato possibile grazie a nuovi dispositivi chiamati amplificatori ottici ed equalizzatori di guadagno ottico.

“In generale, i dati sono stati inviati tramite una fibra ottica come una connessione Internet a casa o in ufficio. Tuttavia, oltre alle bande C ed L disponibili in commercio, abbiamo utilizzato due bande spettrali aggiuntive chiamate banda E ed S. Tali bande, tradizionalmente, non sono necessarie perché le bande C ed L potrebbero fornire la capacità necessaria per soddisfare le esigenze dei consumatori”, ha dichiarato il dottor Phillips.

“Negli ultimi anni l’Aston University ha sviluppato amplificatori ottici che operano nella banda E, che è adiacente alla banda C nello spettro elettromagnetico ma è circa tre volte più ampia. Prima dello sviluppo del nostro dispositivo, nessuno era stato in grado di emulare adeguatamente i canali della banda E in modo controllato”.

“Aumentando la capacità di trasmissione nella dorsale, il nostro esperimento potrebbe portare a connessioni notevolmente migliorate per gli utenti finali“, ha aggiunto il professor Forysiak. “Questo risultato rivoluzionario evidenzia il ruolo cruciale del progresso della tecnologia della fibra ottica nel rivoluzionare le reti di comunicazione per una trasmissione dei dati più rapida e affidabile”.

“Aumentare la capacità del sistema utilizzando una maggiore quantità di spettro disponibile, non solo la banda C convenzionale ma anche altre bande come le bande L, S e ora E, può aiutare a mantenere bassi i costi di fornitura di questa larghezza di banda“.

Secondo i ricercatori la tecnologia messa a punto è anche “più ecologica” rispetto all’implementazione di nuove fibre e cavi poiché fa un maggiore uso delle reti in fibra esistenti, aumentandone la capacità e prolungandone la vita utile e il valore commerciale.