Copilot Vision può leggere lo schermo e parlare ad alta voce

Nelle scorse ore, Microsoft ha annunciato una nuova funzionalità di Copilot Labs chiamata Copilot Vision. Copilot Labs è un servizio Microsoft per testare le nuove funzionalità AI con un piccolo sottoinsieme di utenti per raccogliere feedback e migliorarle. Copilot Vision è simile alle funzionalità video ChatGPT di cui OpenAI ha presentato una dimostrazione all'inizio di quest'anno. Vision fornisce infatti agli utenti assistenza in tempo reale in base al contenuto dello schermo. Al momento, tale funzionalità è compatibile solo con Microsoft Edge. Quando si visita un sito Web supportato, l’utente può iniziare a porre domande a Copilot relative al contenuto della pagina. La funzionalità può anche suggerire i passaggi successivi e fornire assistenza nell'attività da svolgere. Inoltre, l’utente può anche usare la voce, eliminando la necessità di digitare. Copilot Vision è simile ad un esperto, che guarda lo schermo per aiutare gli utenti lungo il percorso.

Copilot Vision: funzionalità incentrata totalmente sulla privacy

Microsoft ha progettato Copilot Vision mettendo la privacy come principio fondamentale. Si tratta infatti una funzionalità completamente opzionale, abilitata solo quando gli utenti scelgono esplicitamente di farlo. Microsoft non archivia né utilizza dati di Vision (audio, immagini, testo o conversazioni) per l'addestramento del modello. Una volta terminata la sessione, tutti i dati verranno eliminati definitivamente. Inoltre, Copilot Vision non funzionerà su siti web con paywall o contenuti sensibili. Durante questa fase di anteprima, Microsoft abilita la funzionalità solo su un elenco di siti web pre-approvati. Microsoft espanderà Vision a più siti web in futuro, dando priorità alla sicurezza e alla responsabilità.

Infine, è importante notare che Copilot Vision non è un agente. Non può intraprendere azioni per tuo conto. Può invece solo rispondere a domande durante la navigazione. Vision è ora disponibile per un sottogruppo di utenti Copilot Pro negli Stati Uniti. Ha il potenziale per rivoluzionare il modo in cui si interagisce con il web, fornendo un'esperienza di navigazione più intuitiva e utile. Poiché Microsoft continua a sviluppare ed espandere questa funzionalità, è possibile aspettarsi un'esperienza Copilot ancora più utile in futuro.