Un Milione di Token: Un Illusione, L'AI Ha Ancora Problemi di Memoria Negli ultimi anni, l'intelligenza artificiale ha fatto enormi passi avanti, ma i modelli di linguaggio di grandi dimensioni (LLM) rivelano una mancanza fondamentale: il loro approccio alla memoria.…
Un Milione di Token: Un Illusione, L’AI Ha Ancora Problemi di Memoria
Negli ultimi anni, l’intelligenza artificiale ha fatto enormi passi avanti, ma i modelli di linguaggio di grandi dimensioni (LLM) rivelano una mancanza fondamentale: il loro approccio alla memoria. Ogni interazione con un modello AI inizia da zero, e al termine della sessione, ogni informazione viene dimenticata. Questo fenomeno ha portato a definire tali modelli “colleghi con amnesia anterograda”, che brillano mentre sono attivi ma dimenticano tutto non appena la conversazione termina. Per le aziende che aspirano a utilizzare AI non solo come dimostrazione, ma come strumento operativo, affrontare questa limitazione è imprescindibile.
I Limiti dei Token: Non Bastano
Il mercato ha cercato di mascherare questo difetto tramite il marketing di una “finestra di contesto” sempre più ampia. Vendor di AI vantano modelli con capacità che superano i 128.000 token, persino un milione. Ma, come evidenziato dallo studio “Lost in the Middle”, questi numeri sono in gran parte illusori. Gli LLM utilizzano in realtà solo una frazione, circa il 10-20% della loro potenzialità indicata. Ad esempio, il modello Llama-3.1-70B, pubblicizzato con 128.000 token, opera effettivamente con circa 2.000 token utili. Quindi, mentre i numeri affascinano, il vero problema non è solo di quantità, ma di come e perché le informazioni vengono elaborate.
Architetture Che Conteggiano: La Necessità di un Grafo della Conoscenza
Per affrontare i problemi di memoria e contestualizzazione, è fondamentale che le aziende investano in soluzioni architetturali piuttosto che limitarsi a scegliere il modello più grande. Un sistema realmente efficace prevede un grafo della conoscenza, che organizza informazioni non solo come eventi isolati, ma come relazioni interconnesse. Questo approccio consente agli agenti AI di comprendere il contesto storico delle decisioni aziendali e di applicare logicamente le informazioni già immagazzinate.
Ad esempio, aziende come Augment Code hanno dimostrato che l’implementazione di un motore semantico di contesto ha portato a miglioramenti significativi nella risoluzione dei problemi, superando modelli simili di oltre sedici punti percentuali. Inoltre, spinoff come Letta hanno raccolto capitali significativi per sviluppare sistemi che gestiscono la memoria in maniera simile a un sistema operativo, riconoscendo l’importanza della gestione della memoria per ottenere prestazioni superiori.
Un Futuro con Memoria Strutturata
Questa situazione pone un imperativo urgente per le aziende italiane. Con l’introduzione di strumenti open-source come BrainAPI di Lumen Labs, le aziende hanno ora la possibilità di costruire internamente un sistema di memoria strutturata. Questi strumenti permettono la creazione di grafi delle conoscenze che possono operare in locale, evitando rischi legati alla sicurezza delle informazioni. Tuttavia, è necessario che le aziende siano consapevoli del valore di un approccio strategico prima di impegnarsi con fornitori di agenti, poiché senza una progettazione adeguata, si rischia di implementare un semplice “autocomplete” potenziato.
Conclusione Pratica
In sintesi, l’era dell’AI è in continuo sviluppo, ma la vera innovazione non risiede solo nelle dimensioni del modello, quanto nella capacità di gestire e strutturare la memoria. Le aziende italiane che desiderano trarre vantaggio dall’intelligenza artificiale devono fare un passo indietro e riconsiderare le loro strategie, focalizzandosi sul creare sistemi di memoria che permettano agli agenti di ragionare in modo efficace. Solo così si potrà passare da un’AI che si limita a rispondere a domande a un’AI che realmente comprende e collabora nel contesto aziendale.
