Microsoft ha annunciato l’aggiornamento Fall Moments per il suo sistema operativo Windows 11, introducendo una serie di funzionalità pensate per integrare funzionalità di intelligenza artificiale in ogni personal computer supportato. L’aggiornamento è incentrato su due aggiunte principali, Copilot Voice e Copilot Vision, che funzionano insieme per creare un ambiente AI più interattivo per gli utenti.
La prima funzionalità, Copilot Voice, consente agli utenti di interagire con il proprio computer tramite comandi vocali e conversazioni naturali, un metodo di interazione simile a quello di altri strumenti di intelligenza artificiale conversazionale. La seconda caratteristica fondamentale è Copilot Vision, che consente al computer di percepire e interpretare l’ambiente circostante attraverso una fotocamera. Copilot Vision può anche analizzare il contenuto visualizzato sullo schermo di un utente, consentendogli di comprendere il contesto ed eseguire azioni in base a ciò che “vede”.
Come parte di questo aggiornamento, l’assistente AI può essere attivato tramite voce utilizzando la frase “Ehi, copilota”. Una volta attivato, gli utenti possono porre domande, cercare informazioni o indirizzare l’assistente all’esecuzione di attività specifiche. La funzionalità Copilot Vision consente agli utenti di condividere il proprio desktop o singole applicazioni direttamente con l’intelligenza artificiale. In cambio, Copilot può fornire approfondimenti o rispondere a domande relative al contenuto sullo schermo.
L’aggiornamento introduce anche una funzionalità di guida che Microsoft chiama Highlights. Questo strumento è progettato per assistere gli utenti che non hanno familiarità con determinate operazioni del computer. Puntando su un’area sullo schermo e chiedendo aiuto, gli utenti possono ricevere istruzioni passo passo dall’intelligenza artificiale su come completare un’attività. Microsoft ha notato che questa funzionalità è destinata in particolare a favorire gli utenti con livelli inferiori di familiarità tecnologica. La funzionalità Highlights è disponibile all’interno del sistema operativo e all’interno di applicazioni specifiche.
Insieme a queste funzionalità, l’interfaccia di digitazione di Copilot è stata riprogettata e integrata direttamente nella barra delle applicazioni di Windows 11. Questa modifica mira a rendere più accessibile l’interazione basata su testo con l’assistente AI.
All’interno della suite di applicazioni Microsoft 365, che include PowerPoint, Excel e Word, Copilot Vision è stata migliorata per comprendere l’intero contesto del lavoro di un utente. Con l’autorizzazione esplicita dell’utente, l’intelligenza artificiale può visualizzare lo schermo e offrire assistenza su attività come la progettazione di una presentazione o l’analisi dei dati di un foglio di calcolo.
Microsoft sta inoltre espandendo Copilot Actions, una funzionalità che consente a un agente intelligente di eseguire attività in più passaggi per l’utente. Precedentemente limitata alle azioni basate sul browser come prenotare un hotel o trovare voli, questa funzionalità viene ora estesa al programma Windows 11 Insiders. L’espansione consente a Copilot Actions di operare all’interno del sistema operativo locale, eseguendo attività in Esplora file o cercando file sul computer. Gli utenti possono descrivere il risultato desiderato e l’intelligenza artificiale lavorerà per eseguirlo. Ciò si collega a un’iniziativa più ampia di Microsoft per collegare la propria intelligenza artificiale con servizi come OneDrive e piattaforme esterne come Google Gmail, con la possibilità di esportare i risultati delle attività su altre applicazioni.
Inoltre, Microsoft ha annunciato una collaborazione con lo strumento task-agent Manus. Questa partnership consentirà allo strumento di eseguire operazioni complesse sui file locali di un utente, a condizione di ricevere l’autorizzazione. La base tecnica per questa collaborazione è un’infrastruttura condivisa costruita da Microsoft e dalla società madre di Manus, un’azienda terza con sede a Shanghai, utilizzando server Azure potenziati con funzionalità di intelligenza artificiale.
Per affrontare la sicurezza e la privacy, l’aggiornamento include nuovi livelli di controllo descritti come “recinti di sicurezza”. Microsoft afferma che gli utenti avranno il pieno controllo sulle nuove funzionalità e potranno disabilitare o sospendere le azioni Copilot in qualsiasi momento. L’azienda si impegna inoltre a fornire agli utenti la massima trasparenza riguardo alle azioni dell’IA, con aggiornamenti forniti in ogni fase di un’attività. Facendo riferimento alle lezioni del recente “fiasco del richiamo”, Microsoft afferma di eseguire continuamente controlli approfonditi e di raccogliere feedback organizzativi per migliorare i propri meccanismi di sicurezza e privacy.
