Next Up per l'intelligenza artificiale: imparare a leggere le labbra

Un paziente siede in un letto d'ospedale, una benda che copre il collo con una piccola apertura per la cannula tracheostomica che gli fornisce ossigeno.

A causa del suo recente intervento chirurgico, l'uomo è apparso in questo video di marketing non posso vocalizzare. Quindi un medico solleva uno smartphone e registra il paziente mentre pronuncia una breve frase. Un'app chiamata SRAVI analizza i movimenti delle labbra e in circa due secondi restituisce la sua interpretazione: "Ho bisogno di aspirazione".

Sembra una semplice interazione e, per alcuni aspetti, SRAVI (App di riconoscimento vocale per persone con problemi di voce) è ancora piuttosto semplicistico. Riesce a riconoscere solo poche dozzine di frasi e lo fa con una precisione di circa il 90%. Ma l'app, realizzata dalla startup irlandese Liopa, rappresenta un enorme passo avanti nel campo del riconoscimento vocale visivo (VSR), che prevede l'addestramento dell'intelligenza artificiale a leggere le labbra senza alcun input audio. Sarà probabilmente la prima app AI per la lettura delle labbra disponibile per l'acquisto pubblico.

I ricercatori hanno lavorato per decenni per insegnare ai computer a leggere le labbra, ma si è dimostrato un compito impegnativo anche con i progressi nei sistemi di deep learning che hanno aiutato a decifrare altri problemi di riferimento. La ricerca è stata guidata da un'ampia gamma di possibili applicazioni commerciali, dagli strumenti di sorveglianza alle app di comunicazione silenziose e alle prestazioni migliorate dell'assistente virtuale.

Liopa è in procinto di certificare SRAVI come dispositivo medico di Classe I in Europa e l'azienda spera di completare la certificazione entro agosto, che consentirà di iniziare a vendere agli operatori sanitari.

Sebbene le loro intenzioni per la tecnologia non siano chiare, molti dei giganti della tecnologia stanno anche lavorando sull'intelligenza artificiale che legge le labbra. Gli scienziati affiliati o che lavorano direttamente per Google, Huawei, Samsung e Sony stanno tutti effettuando ricerche sui sistemi VSR e sembrano fare rapidi progressi, secondo le interviste e la revisione di Motherboard delle ricerche e delle domande di brevetto pubblicate di recente. Le aziende non hanno risposto o hanno rifiutato le interviste per questa storia.

Man mano che l'IA che legge le labbra emerge come un prodotto commerciale praticabile, i tecnologi e gli osservatori della privacy sono sempre più preoccupati per come viene sviluppata e come potrebbe un giorno essere implementata. SRAVI, ad esempio, non è l'unica applicazione di intelligenza artificiale per la lettura delle labbra su cui sta lavorando Liopa. L'azienda è anche in fase due di un progetto con un'agenzia di ricerca sulla difesa del Regno Unito per sviluppare uno strumento che consentisse alle forze dell'ordine di cercare tra i filmati silenziosi delle telecamere a circuito chiuso e identificare quando le persone pronunciano determinate parole chiave.

Società di sorveglianza Motorola Solutions ha un brevetto per un sistema di lettura labiale progettato per aiutare la polizia. Skylark Labs, una startup il cui fondatore ha legami con la Defense Advanced Research Projects Agency (DARPA) degli Stati Uniti, ha detto a Motherboard che il suo sistema di lettura labiale è attualmente utilizzato in case private e in una compagnia elettrica controllata dallo stato in India per rilevare un linguaggio volgare e offensivo .

"Questa è una di quelle aree, dal mio punto di vista, che è un buon esempio di 'solo perché possiamo farlo, non significa che dovremmo'", ha detto a Motherboard Fraser Sampson, commissario britannico per la biometria e le telecamere di sorveglianza. “La mia principale preoccupazione in questo settore non sarebbe necessariamente ciò che la tecnologia potrebbe fare e cosa non potrebbe fare, sarebbe l'effetto raggelante delle persone che credono che possa fare ciò che dice. Se questo li ha dissuasi dal parlare in pubblico, allora siamo in un'area molto più ampia della semplice privacy, e la privacy è abbastanza grande".

L'emergere dell'intelligenza artificiale che legge le labbra ricorda la tecnologia di riconoscimento facciale, che è stata un'area di ricerca di nicchia per decenni prima di essere commercializzata silenziosamente, ma rapidamente, come strumento di sorveglianza a partire dai primi anni 2000.