Snap presenta il suo nuovo modello per generare esperienze AR

Martedì scorso, all'Augmented World Expo, Snap ha presentato il suo modello di diffusione delle immagini on-device in tempo reale, in grado di generare esperienze AR. L’azienda ha anche presentato strumenti di intelligenza artificiale generativa per i creator di realtà aumentata. Il co-fondatore e CTO di Snap, Bobby Murphy, ha affermato sul palco che il modello è abbastanza piccolo da poter essere eseguito su uno smartphone. Inoltre, è abbastanza veloce da eseguire nuovamente il rendering dei fotogrammi in tempo reale, guidato da un messaggio di testo.

Murphy ha affermato che, sebbene l’emergere di modelli di diffusione di immagini di intelligenza artificiale generativa sia stato entusiasmante, questi modelli devono essere significativamente più veloci in modo da avere un impatto sulla realtà aumentata. Per questo motivo il suo team ha lavorato duramente per accelerare i modelli di apprendimento automatico. Gli utenti di Snapchat inizieranno a vedere i Lenses con questo modello generativo nei prossimi mesi. Snap prevede di portarlo ai creatori entro la fine dell'anno. Come ha ricordato lo stesso Murphy: “questo e i futuri modelli ML generativi in ​​tempo reale sui dispositivi parlano di una nuova entusiasmante direzione per la realtà aumentata. Inoltre, ci stanno dando spazio per riconsiderare il modo in cui immaginiamo il rendering e la creazione di esperienze AR”.

Snap: le novità annunciate per Lens Studio 5.0

Murphy ha anche annunciato inoltre che Lens Studio 5.0 è già disponibile per gli sviluppatori che avranno accesso ai nuovi strumenti di intelligenza artificiale generativa. Questo strumento li aiuterà a creare effetti AR molto più velocemente di quanto attualmente possibile, risparmiando settimane e persino mesi. I creatori di AR possono creare selfie Lenses generando effetti ML face altamente realistici. Inoltre, possono generare effetti di stilizzazione personalizzati che applicano una trasformazione realistica al viso, al corpo e all’ambiente circostante dell’utente in tempo reale. I creator possono anche generare asset 3D in pochi minuti e includerlo nei propri Lenses.

Inoltre, i creator di AR possono generare personaggi come alieni o maghi con un prompt di testo o immagine utilizzando la tecnologia Face Mesh dell'azienda. Possono anche generare maschere per il viso, texture e materiali in pochi minuti. L'ultima versione di Lens Studio include anche un assistente AI in grado di rispondere alle domande che potrebbero avere i creatori di realtà aumentata.