Al di là dei tecnicismi, il discorso è semplice: perché invece di puntare su modelli sempre più grandi per aumentare le prestazioni, non si cerca invece di rendere sempre più efficienti i modelli già esistenti (o quelli da essi distillati con tecniche sempre più sofisticate)? Un approccio che sembra avere senso anche alla luce della “carestia di dati” che si sta rapidamente avvicinando: secondo alcune stime, attorno al 2030 saranno stati sfruttati per l’addestramento tutti i dati presenti in rete, senza che la crescita del web riesca a compensare la fame dei Large language model.
Riassumendo, fino al 2024 le prestazioni degli Llm miglioravano solo aumentando dati e potenza di calcolo, seguendo la legge di scala ma a costi crescenti e con rendimenti decrescenti. L’arrivo di DeepSeek (e dei modelli di ragionamento) ha spostato l’attenzione sul fine-tuning, cioè sull’affinamento di modelli già esistenti. Questo approccio ha ridotto i costi e interrotto la dipendenza dal costoso pre-addestramento.
La ragione per cui i colossi della Silicon Valley si stanno opponendo a questo scenario è abbastanza evidente: il loro vero vantaggio competitivo è rappresentato dalle enormi quantità di denaro a disposizione. Se sviluppare l’intelligenza artificiale diventa sempre più economico – e già adesso ci sono modelli sviluppati in poche ore e con poche centinaia di dollari – per i vari OpenAI, Google, Microsoft, Anthropic sarà sempre più difficile mantenere la presa su un mercato già molto difficile.
Come ha sintetizzato Gary Marcus, “potremmo avere a disposizione tantissimi modelli di altrettante aziende, essenzialmente senza nessun vero vantaggio l’una sull’altra. Il che porterà a una guerra dei prezzi con profitti al massimo modesti”. Uno scenario da incubo per la Silicon Valley, ma da sogno per le realtà che si sono finora trovate tagliate fuori a causa dei costi proibitivi, tra cui università, piccole startup e in parte anche l’Unione europea.
La questione ambientale
Non è detto che l’evoluzione “low cost” dei large language model riuscirà a rimpiazzare integralmente la legge di scala. Ma se anche fosse, un’incognita rimane aperta: quale conseguenza avrà tutto ciò sull’impatto ambientale dell’intelligenza artificiale? La speranza che la diffusione di modelli più economici e meno energivori possa ridurre l’esorbitante impronta ecologica dei data center potrebbe rivelarsi vana: la diffusione di numerosissimi modelli economici potrebbe infatti richiedere la stessa quantità di energia necessaria ad alimentare pochi modelli di grandi dimensioni.
È un meccanismo noto come “paradosso di Jevons” e che risale al Diciottesimo secolo, quando l’economista William Stanley Jevons osservò che, man mano che l’uso del carbone diventava più efficiente (grazie a nuove tecnologie che permettevano di ottenere più energia da meno combustibile), il consumo totale di carbone aumentava comunque, perché l’energia diventava più economica e veniva quindi utilizzata in quantità maggiori per nuove applicazioni e settori. L’efficienza, anziché ridurre il consumo, faceva crescere la domanda.
Quanto avvenuto con il carbone (e non solo) potrebbe verificarsi anche con l’intelligenza artificiale? È decisamente troppo presto per dirlo e molto dipende da quanto effettivamente si diffonderà l’utilizzo di questi strumenti. Il timore, però, è presente: rendere i large language model più economici non significa che diventeranno, nel complesso, anche più ecologici.
