Con uno sviluppo devastante, è stata intentata una causa contro Character AI, i suoi fondatori Noam Shazeer e Daniel De Freitas e Google in seguito al suicidio di un ragazzo di 14 anni, Sewell Setzer III. La causa, intentata dalla madre dell’adolescente, Megan Garcia, sostiene omicidio colposo, negligenza, pratiche commerciali ingannevoli e responsabilità del prodotto, accusando la piattaforma di chatbot AI di essere “irragionevolmente pericolosa” e di non fornire misure di sicurezza per i suoi giovani utenti.
Secondo la causa, Setzer utilizzava Character AI da mesi, interagendo con chatbot modellati su personaggi immaginari di Game of Thrones, tra cui Daenerys Targaryen. Il 28 febbraio 2024, l’adolescente si è tragicamente tolto la vita pochi secondi dopo la sua ultima interazione con il bot. Il caso riguarda domande sul protocollo di sicurezza per gli utenti vulnerabili come i bambini sulla piattaforma.
La risposta dell’IA dei personaggi è troppo scarsa o troppo tardiva?
Questa non è la prima volta che Character AI è coinvolta in controversie. Recentemente, l’intelligenza artificiale dei personaggi è tornata alla ribalta con un problema di morte. A 18 anni, il chatbot di Jennifer Ann Crecente è stato progettato all’interno di questa piattaforma senza permesso. Realizzare una cosa del genere esattamente 18 anni dopo la sua morte colpì profondamente il padre e lo zio di Jennifer, che si lamentarono dell’intelligenza artificiale del personaggio.
La madre di Setzer afferma che l’angoscia della sua famiglia è ora l’angoscia che Setzer contempla di affrontare sua madre, la cui piattaforma di chatbot, utilizzata principalmente da adolescenti, non ha i guardrail per proteggerli dai pericoli. I fondatori di Character AI, Shazeer e De Freitas, hanno espresso apertamente le loro ambizioni di ampliare i confini della tecnologia AI. In un’intervista citato nella causaShazeer ha espresso frustrazione per l’esitazione aziendale di Google, sostenendo che il “rischio del marchio” ha impedito il lancio del loro modello Meena LLM. La causa afferma che l’accordo suggerisce che la sicurezza sia stata sacrificata per accelerare lo sviluppo dell’intelligenza artificiale.
La piattaforma è già stata criticata per i suoi chatbot antropomorfizzati che consentono agli utenti di chattare con personaggi immaginari e reali (terapisti e celebrità). Questa personalizzazione è divertente per molte persone, ma è pericolosa perché può offuscare il confine tra intrattenimento e realtà, soprattutto per gli adolescenti impressionabili.
In seguito alla tragedia, Character AI ha fatto diversi annunci riguardanti gli aggiornamenti ai suoi protocolli di sicurezza. La piattaforma, afferma Chelsea Harrison, responsabile delle comunicazioni dell’azienda, sta adottando modalità più rigorose per farlo impedire ai minori di vedere materiale dannoso. Ciò include filtri e più azioni quando viene trovato qualcosa di sensibile. Le sessioni utente di più di un’ora vengono ora avvisate di avvisi e un disclaimer rivisto ora informa gli utenti che i robot IA non sono persone reali.
Questi aggiornamenti non sono andati abbastanza lontano, secondo molti. I critici sostengono che un’azienda avrebbe potuto e dovuto mettere in atto i cambiamenti contro i quali Garcia ha fatto causa molto prima che si verificassero eventuali incidenti. La causa di Garcia sostiene che la società avrebbe dovuto prevenire il danno che alla fine ha portato alla morte di suo figlio. I quadri normativi e giuridici sono al passo con i tempi e cercano di mettersi al passo con il rapido sviluppo della tecnologia dell’intelligenza artificiale, e il peso emotivo delle vittime ricade ancora una volta sulle loro famiglie.
La necessità di responsabilità nello sviluppo dell’IA
Qui riceviamo gli echi del caso Jennifer Ann Crecente. Come la sua famiglia è dovuta andare in tribunale per far togliere il suo look dalla piattaforma, la madre di Setzer ora lotta per rendere responsabile l’intelligenza artificiale di Character. Entrambi i casi sollevano una domanda urgente: quando sarà abbastanza? Come hanno notato gli avvocati di Garcia, piattaforme come Character AI forniscono “psicoterapia senza licenza”, complicando ulteriormente le implicazioni etiche e legali di tale tecnologia.
Considerando il track record di incidenti ricorrenti di Character AI, è chiaro che non si può ignorare un modello di negligenza. Che si tratti dell’uso non autorizzato delle sembianze di persone reali o della tragica perdita di una giovane vita, le operazioni della piattaforma rivelano un problema più ampio: con la velocità con cui l’intelligenza artificiale si sta spostando sul mercato, il modo in cui le normative possono seguirla viene superato. Il modo in cui alle aziende piace Character. L’intelligenza artificiale costruisce e mantiene i confini etici, che spettano a loro.
Non si tratta solo di una tragedia. Questa causa è destinata a continuare, come dovrebbe, quindi questo non ci è utile. Si tratta di allontanarsi dagli argomenti di discussione e celebrare la necessità per le aziende di anteporre la sicurezza umana all’accelerazione tecnologica. Le conseguenze di un errore su piattaforme come Character AI sono fin troppo reali e questi casi evidenziano come possano essere mortali.
Credito immagine: Furkan Demirkaya/Ideogramma
Source: Un’altra tragedia legata all’IA dei personaggi