Stable Audio: sorprendente tool AI per creare audio da testo

Stability AI, l’azienda già creatrice di Stable Diffusion (l’AI capace di generare un’immagine a partire da un testo), nelle scorse ore ha annunciato il rilascio del nuovo Stable Audio. Si tratta, in questo caso, di una tecnologia in grado di generare brevi clip audio da istruzioni di testo. Stability AI non è nuova a questo genere di strumenti. Lo scorso luglio l’azienda aveva infatti aggiornato Stable Diffusion con l’arrivo del modello base di SDXL, capace di migliorare le immagini. Qualche settimana più tardi, è stato poi il turno di StableCode, ovvero il generatore di codice AI.

Stable Audio: come funziona il nuovo strumento AI per generare musica e suoni

Come riportato sul sito ufficiale Stability AI, i modelli di diffusione utilizzati da Stable Audio sono simili a quelli di Stable Diffusion. Nello specifico si tratta di un autoencoder variazionale (VAE), un codificatore di testo e un modello di diffusione condizionata che si basa su U-Net. Grazie alla tecnica di latent diffusion, Stable Audio è infatti in grado di generare audio da 95 secondi ad una frequenza di campionamento di 44,1 kHz, in meno di un secondo su una GPU NVIDIA A100. Stability AI ha addestrato questo modello su un set di dati composto da 800.00 file audio contenenti musica, effetti sonori e audio di singoli strumenti con i corrispondenti metadati di testo presenti nella libreria audio del partner AudioSpark. Stability AI ha dichiarato di possedere un set di dati di oltre 19.500 ore di audio.

Stable Audio sarà disponibile in 3 modalità. La prima è gratuita e permette agli utenti di generare fino a 45 secondi di audio per 20 tracce al mese. La seconda invece sarà a pagamento (11,99 dollari al mese) e consentirà di ottenere 500 tracce della durata massima di 90 secondi. L’ultima, l’abbonamento Enterprise, non ha una un prezzo specifico, ma sarà personalizzato a seconda delle esigenze dell’aziende. Stability AI ricorda infine che chi utilizza la versione gratuita del servizio non può utilizzare l’audio generato per scopi commerciali.