Microsoft rilascia due nuove funzionalità AI per la sicurezza

Nelle scorse ore, Microsoft ha annunciato la disponibilità generale di nuove funzionalità AI per la sicurezza in Azure AI Content Safety e Azure OpenAI Service. Queste includono Prompt Shields e Protected Material Detection. La prima è una soluzione AI progettata per difendersi da attacchi diretti (jailbreak) e indiretti di iniezione di prompt. Può essere integrata con i filtri di contenuto di Azure OpenAI Service e Azure AI Content Safety. Prompt Shields impiega algoritmi avanzati di apprendimento automatico ed elaborazione del linguaggio naturale per identificare e mitigare potenziali minacce nei prompt utente e in altri dati.

Nel primo caso, Prompt Shields mira ad attacchi diretti di prompt injection, in cui gli utenti sfruttano deliberatamente le vulnerabilità del sistema per ottenere comportamenti non autorizzati dall'LLM. Ciò potrebbe portare alla generazione di contenuti inappropriati o violazioni delle restrizioni imposte dal sistema. Per quanto riguarda gli attacchi indiretti, Prompt Shields protegge dagli attacchi che utilizzano informazioni non fornite direttamente dall'utente o dallo sviluppatore, come documenti esterni. Gli aggressori potrebbero incorporare istruzioni nascoste in questi materiali nel tentativo di ottenere un controllo non autorizzato sulla sessione LLM. Queste funzionalità possono essere integrate nelle applicazioni di intelligenza artificiale per migliorarne la sicurezza e l'integrità e prevenire tentativi dannosi di manipolazione o sfruttamento.

Microsoft: nuova protezione contro la violazione del copyright

Protected Material Detection è invece una nuova soluzione AI di Microsoft che può proteggere da output che potrebbero potenzialmente violare il copyright. Il rischio di reclami per violazione della proprietà intellettuale è una delle maggiori preoccupazioni che circondano le applicazioni di intelligenza artificiale generativa. Per risolvere questo problema, il servizio Protected Material Detection prende i completamenti LLM e analizza le corrispondenze con un indice di contenuti di testo di terze parti per rilevare l'utilizzo di contenuti di testo di terze parti. Questi includono ad esempio brani, articoli di notizie e contenuti web selezionati.

Come accennato, le funzionalità Prompt Shield e Protected Material Detection sono già disponibili in Azure AI Content Safety e Azure OpenAI Service. Per saperne di più è possibile consultare la pagina dedicata sul sito ufficiale dell’azienda di Redmond.