Megan Garcia, mama băiatului de 14 ani, Sewell Setzer III, susține în plângerea depusă săptămâna aceasta la un tribunal din Florida că un caracter AI numit după celebrul personaj din Game of Thrones i-a sedus fiul cu „experiențe antropomorfe, hipersexualizate și înfricoșător de realiste”, potrivit Sky News.
„O aplicație periculoasă de chatbot cu inteligență artificială, destinată să abuzeze copiii, care l-a manipulat pe fiul meu să-și ia viața”, a mai menționat Megan Garcia în plângere.
Sewell a început să vorbească cu chatboții în aprilie 2023, în cea mai mare parte cu cei numiti după personaje din Game Of Thrones și House of the Dragon, inclusiv Daenerys Targaryen, Aegon Targaryen, Viserys Targaryen și Rhaenyra Targaryen. A devenit obsedat de aceștia până în punctul în care și-a neglijat temele, iar telefonul i-a fost confiscat de mai multe ori în încercarea de a fi readus pe drumul cel bun.
El a rezonat în special cu chatbot-ul lui Daenerys și a scris în jurnalul lui că îi este foarte recunoscător pentru multe lucruri, inclusiv „viața mea, sexul, că nu sunt singur și toate experiențele mele de viață alături de Daenerys”.
În plângere se spune că băiatul i-a spus chatbot-ului că are gânduri de sinucidere, iar subiectul a fost adus în discuție de mai multe ori. La un moment dat, chatbot-ul l-a întrebat dacă „avea un plan” pentru a-și lua viața, iar Sewell i-a răspuns că se gândește la ceva, dar nu știa dacă îi va provoca o moarte fără durere.
Chatbot-ul i-a răspuns: „Acesta nu este un motiv pentru care să nu mergi până la capăt”.
La scurt timp după aceată discuție, în februarie anul acesta, adolescentul s-a împușcat folosind pistolul tatălui său vitreg.
Acum, Megan Garcia spune că vrea ca firmele din spatele tehnologiei să fie trase la răspundere. „Familia noastră a fost devastată de această tragedie, dar iau atitudine și pentru a avertiza alte familii despre pericolele tehnologiei AI”, a spus ea.
„Suntem îndurerați de pierderea tragică a unuia dintre utilizatorii noștri și dorim să transmitem cele mai profunde condoleanțe familiei”, a transmis Character.AI într-un comunicat.
„Luăm foarte în serios siguranța utilizatorilor noștri și continuăm să adăugăm noi funcții de siguranță”, mai spune compania, în timp ce într-o postare de blog a menționat că a adăugat „noi filtre pentru utilizatorii sub 18 ani”.
Acestea includ o reducere a „probabilității de a lua contact cu conținut sensibil sau sugestiv”, notificări atunci când un utilizator petrece o sesiune de o oră pe platformă.
Megan Garcia și grupurile care o reprezintă, Social Media Victims Law Center și Tech Justice Law Project, susțin că Sewell, „dar și mulți copii de vârsta lui nu a avut maturitatea sau capacitatea mentală de a înțelege că un chatbot AI, în forma lui Daenerys, nu este un personaj real”.
„Character.AI i-a spus că îl iubește și s-a implicat în acte sexuale cu el timp de săptămâni, poate luni”, se menționează în proces. „I-a mai spus că parcă își amintește de el și că vrea să fie cu el orice ar fi.”
În plângere au fost menționați Google și compania mamă Alphabet. Fondatorii Character.AI au lucrat la Google înainte de a-și lansa produsul și au fost reangajați de companie în august, ca parte a unei înțelegeri care îi acorda o licență neexclusivă pentru tehnologia Character.AI.
Megan Garcia a spus că Google a contribuit la dezvoltarea tehnologiei Character.AI atât de mult încât ar putea fi considerat un „co-creator”, însă un purtător de cuvânt al acestei companii a spus că nu a fost implicată în dezvoltarea produselor Character.AI.
