da Hardware Upgrade :
Google Gemini un progetto di intelligenza artificiale parallelo a Google Bard, che Mountain View ha rivelato nel corso dell’estate in maniera piuttosto anonima ma che avrebbe un enorme potenziale secondo alcune fonti, addirittura al punto da rimettere Google in riga nella corsa all’intelligenza artificiale e riprendersi il primato su OpenAI e GPT-4. Su Gemini stanno lavorando gli ingegneri di Google Brain insieme agli esperti di DeepMind con lo scopo di creare un modello di intelligenza artificiale generativa che possa competere, o anche superare, i migliori modelli oggi a disposizione.
Google si rimette in carreggiata sulle intelligenze artificiali generative?
Prima della crisi sanitaria dovuta al Covid, Google aveva lanciato il modello MEENA, che per un breve periodo di tempo stato il miglior modello linguistico di grandi dimensioni. Google ne parlava in un blog post e lo dettagliava all’interno di questa documentazione, dove MEENA veniva confrontato proprio con le tecnologie di OpenAI.
Gi in quella fase, Google giungeva alla conclusione secondo la quale i modelli linguistici avrebbero sempre pi fatto parte delle nostre vite e che i FLOPS necessari per addestrarli avrebbero costituito una discriminante fondamentale.
MEENA aveva una capacit di 1,7 volte maggiore rispetto al miglior modello allora a disposizione di OpenAI, GPT-2, ed era stato addestrato su una quantit di dati di 8,5 volte superiore. Il modello di Google aveva fatto affidamento su una capacit di calcolo superiore a quella del modello di OpenAI di 14 volte in termini di FLOPS. Da questi punti di vista, entrambi i modelli sarebbero stati destinati a essere surclassati nel giro di poco tempo: GPT-3, infatti, sarebbe stato addestrato su una quantit di dati superiore di 4.000 volte, prendendo sempre i FLOPS come metro di paragone.
Secondo un resoconto pubblicato da SemiAnalysis, che una pubblicazione di riferimento per quanto riguarda l’industria dei semiconduttori, Google si sarebbe risvegliata e sarebbe ormai in procinto di dotarsi di una potenza di calcolo che permetter ai suoi modelli di eccedere quelli della concorrenza. L’infrastruttura in fase di realizzazione, e controllata da Google, permetterebbe a Gemini, infatti, di essere addestrato con una potenza di calcolo superiore di 5 volte rispetto a GPT-4 come FLOPS impiegati e questo prima della fine dell’anno. Entro la fine dell’anno prossimo, invece, la potenza di calcolo a disposizione di Gemini sar superiore di 20 volte rispetto a ci che le infrastrutture di OpenAI riescono a mettere a disposizione.
Nella Silicon Valley oggi ci sono aziende che possono accedere ad oltre 20 mila GPU NVIDIA di tipo A/H100. In particolare, da questo punto di vista i pi “fortunati” sono i ricercatori di OpenAI, Google, Anthropic, Inflection, X e Meta, ovvero coloro che possono attingere alle maggiori risorse di calcolo. Alcune di queste aziende potrebbero entrare a disposizione di circa 100 mila GPU entro la fine del prossimo anno, e tra queste, secondo SemiAnalysis, ci sarebbero anche alcune aziende cinesi.
Nella Silicon Valley, in altri termini, si scatenata la divertente tendenza a misurarsi in termini di numero di GPU a disposizione. Addirittura, le aziende con il maggior numero di GPU sono in grado di attrarre i migliori ricercatori con un incentivo a lavorare per loro. Ad esempio, Meta, che avr il secondo maggior numero di GPU H100 al mondo, sta usando questi aspetti in maniera sistematica come tattica di reclutamento.
Poi ci sono tutta una serie di startup e ricercatori open source che hanno difficolt, avendo a disposizione molte meno GPU. La discriminante principale riguarda la presenza di VRAM a bordo di queste GPU: ormai un quantitativo minimo di 12 GB indispensabile per l’esecuzione dei modelli di intelligenza artificiale sia per quanto riguarda l’apprendimento che la sperimentazione. Se l’intelligenza artificiale far ulteriori progressi come da previsioni, in altri termini, la disponibilit all’accesso alle GPU rischier di diventare fondamentale.