La creazione di contenuti 3D è un processo complesso e dispendioso in termini di tempo. L’arrivo di assistenti AI in grado di generare modelli 3D partendo da semplici descrizioni testuali potrebbe rivoluzionare questo settore. Democratizzerebbe, infatti, la produzione di contenuti 3D e potrebbe essere estremamente utile per l’industria dei videogiochi, del cinema, e della realtà aumentata e virtuale.
Recentemente, il team di ricerca sull’intelligenza artificiale di Meta ha presentato Meta 3D Gen, un sistema AI generazione di modelli 3D da testo. Stando a Meta, questa nuova tecnologia permette di creare oggetti 3D di alta qualità in meno di un minuto. I modelli prodotti presentano texture e mappe ad alta risoluzione. Inoltre, 3D Gen supporta il rendering fisico ((PBR) e il retexturing di asset generati in precedenza.
📣 New research from GenAI at Meta, introducing Meta 3D Gen: A new system for end-to-end generation of 3D assets from text in <1min.
Meta 3D Gen is a new combined AI system that can generate high-quality 3D assets, with both high-resolution textures and material maps end-to-end,… pic.twitter.com/rDD5GzNinY
— AI at Meta (@AIatMeta) July 2, 2024
Il sistema si basa su due ricerche chiave: Meta 3D AssetGen e Meta 3D TextureGen. Questi studi descrivono in dettaglio i nuovi approcci alla generazione da testo a modelli 3D e al perfezionamento delle texture, affrontando sfide di lunga data nel settore.
Meta 3D Gen utilizza un processo in due fasi per creare modelli 3D. La prima fase, gestita da AssetGen, genera una mesh 3D con materiali PBR (physically-based rendering) a partire da una richiesta di testo, il cosiddetto prompt. Questa fase supera il difficile compito di tradurre i concetti 2D in strutture 3D.
Un ricercatore di Meta ha spiegato: “AssetGen genera sia viste ombreggiate che albedo dell’oggetto. Questo duplice approccio consente al nostro sistema di dedurre con maggiore precisione la struttura 3D e le proprietà dei materiali, dando vita a risorse di qualità superiore“.
La seconda fase, guidata da TextureGen, perfeziona le texture create nella prima fase. Questo passaggio è fondamentale per raggiungere il livello di dettaglio necessario per ottenere oggetti 3D di livello professionale. TextureGen utilizza una combinazione di tecniche di generazione dello spazio di visualizzazione e dello spazio UV per creare texture dettagliate che corrispondono alla richiesta di testo originale, mantenendo la coerenza nel modello 3D.
Meta 3D Gen si distingue non solo per la sua velocità, ma anche per la capacità di produrre risultati di alta qualità su un’ampia gamma di prompt. Il sistema è in grado di gestire oggetti semplici, personaggi complessi e scene intricate con una notevole fedeltà alle istruzioni dell’utente.
Nei test condotti con altre soluzioni leader del settore, Meta 3D Gen ha costantemente superato la concorrenza. Artisti e progettisti 3D professionisti hanno mostrato una chiara preferenza per i risultati di Meta 3D Gen, lodando in particolare l’aderenza ai prompt e la qualità visiva delle descrizioni testuali complesse.
Le applicazioni potenziali di questa tecnologia sono vaste. Gli sviluppatori di videogiochi potrebbero utilizzare 3D Gen per prototipare rapidamente ambienti e personaggi, accelerando in modo significativo il processo di sviluppo. Gli architetti potrebbero generare modelli 3D dettagliati di edifici e interni a partire da descrizioni testuali, snellendo il processo di progettazione.
Nel campo della realtà virtuale e aumentata, 3D Gen potrebbe consentire la creazione rapida di ambienti e oggetti immersivi, accelerando potenzialmente lo sviluppo di applicazioni per il Metaverso.