Seleziona una pagina
martedì, Mag 09

Intelligenza artificiale, come funzionano i modelli linguistici dietro ChatGPT | Wired Italia



Da Wired.it :

È partendo da questo meccanismo che, per esempio, ChatGPT è in grado di produrre lunghi testi (spesso) coerenti e dotati di senso: l’algoritmo di OpenAI scova infatti statisticamente quali sono le frasi o le singole parole contenute nel database che – in base al suo addestramento – hanno la maggior probabilità di essere coerenti con quelle precedenti, proseguendo potenzialmente senza sosta in questa composizione.

I grandi database sono però utili soprattutto nel caso di modelli linguistici di uso generale, che devono cioè produrre, riassumere o tradurre testi di ogni tipo. In questo caso, maggiore è il numero di dati a disposizione del Llm, maggiore sarà la probabilità di imparare a creare testi di ogni tipo.

Se invece si vuole creare un modello linguistico specializzato, per fare un esempio, in astronomia, la quantità di dati a disposizione passa in secondo piano rispetto alla qualità. L’aspetto fondamentale, in questo caso, diventa infatti che tutti i dati a disposizione del modello siano relativi all’astronomia. Ovviamente, più grande e di qualità elevata è un database specializzato su un singolo tema, migliori sono le probabilità che i contenuti generati dall’intelligenza artificiale siano di buona qualità.

In principio fu Bert

In entrambi i casi, comunque, i large language model rappresentano una delle applicazioni più sorprendenti e ricche di potenzialità del deep learning. Questo è stato evidente fin dall’inizio, da quando cioè Google ha presentato nel 2017 il suo sistema Bert, in grado per l’appunto di imparare il contesto all’interno di dati sequenziali e che ottenne immediatamente i punteggi più elevati nei vari contest di natural language processing.

Da Bert, dotato di 110 milioni di parametri (un record per l’epoca) a GPT-3 e i suoi 175 miliardi di parametri, fino a GPT-4 (che si pensa abbia circa migliaia di miliardi di parametri, anche se OpenAI non ha divulgato il dato): negli ultimi mesi abbiamo imparato quali sono le straordinarie potenzialità degli Llm in ambito professionale (dove possono rappresentare degli straordinari assistenti), ma anche nei settori della propaganda, delle fake news e della disinformazione.

Da questo punto di vista, anche uno strumento incredibilmente avanzato come ChatGPT non rappresenta un punto d’arrivo, ma probabilmente solo un assaggio delle opportunità e delle sfide poste dall’intelligenza artificiale, con cui nei prossimi anni dovremo sempre più fare i conti.



[Fonte Wired.it]