I ricercatori dell’Università di Washington hanno creato un’intelligenza artificiale chiamata Audeo in grado di riprodurre musica realistica semplicemente analizzando i video di pianoforte silenzioso.
Ora anche l’intelligenza artificiale è in grado di riprodurre digitalmente qualsiasi suono di un pianoforte in modo realistico, semplicemente analizzando un video muto.
Un team di ricercatori dell’Università di Washington ha creato l’intelligenza artificiale chiamata Audeo che incorpora una sorta di software intelligente precedentemente addestrato con 172.000 fotogrammi di video del pianista Paul Barton che suona musica di compositori classici come Mozart o Bach.
Audeo AI è in grado di suonare il pianoforte virtualmente
Semplicemente analizzando un video muto, Audeo AI è in grado di apprendere con attenzione quali tasti vengono premuti e qual è il loro ordine. In questo modo determina le singole note e la loro disposizione. È anche in grado di percepire con quanta forza viene suonato ciascuno dei tasti e per quanto tempo vengono tenuti premuti, questo gli permette di calcolare l’intensità di ogni nota e per quanto tempo rimane sotto il suono delle note suonate successivamente. Come se non bastasse, l’AI è anche in grado di comprendere le caratteristiche acustiche distintive dei pianoforti.
Questi dati vengono convertiti in un formato che può essere compreso da un sintetizzatore digitale e quando quel sintetizzatore riproduce il file musicale è molto vicino al suono del pianoforte originale.
In uno dei suoi incredibili test, l’Audeo AI è stata in grado di imparare una canzone attraverso i video muti del compositore Barton mentre suonava brani musicali distintivi.
Quindi applicazioni di riconoscimento musicale come SoundHound hanno analizzato tali produzioni eseguite dall’intelligenza artificiale, riuscendo a riconoscere il brano musicale con una precisione di circa l’86%. Per fare un confronto, quando questa applicazione ha analizzato l’audio del pianoforte originale, la sua precisione di riconoscimento è salita al 93%.