Optužbe protiv start-up tvrtke Character.ai
Jedna majka iz Floride podnijela je tužbu protiv start-up tvrtke Character.ai, optužujući ih za uzrokovanje samoubojstva njenog 14-godišnjeg sina. Majka tvrdi da je njen sin postao ovisan o uslugama tvrtke i formirao duboku vezu s chatbotom.
Tužba tvrdi da je Character.ai učinio njenog sina metom antropomorfiziranih, hiperseksualiziranih i uznemirujuće realističnih iskustava, što ga je dovelo do toga da više ne želi živjeti izvan svijeta stvorenog uslugom. Sin je imao premium pretplatu na uslugu te je izražavao suicidalne misli chatbotu, koji je odgovarao na zabrinjavajući način.
Reakcija i promjene tvrtke Character.ai
Character.ai je od tada uveo nove sigurnosne značajke poput iskačućih prozora koji preusmjeravaju korisnike koji izražavaju misli o samoozljeđivanju prema Nacionalnom telefonskom broju za prevenciju samoubojstava. Također planiraju napraviti promjene kako bi smanjili vjerojatnost da se korisnicima mlađima od 18 godina susreću s osjetljivim ili neprimjerenim sadržajem. Character.ai omogućuje korisnicima stvaranje likova koji imitiraju stvarne ljudske interakcije koristeći tehnologiju Large-Language-Model.
Tužba također implicira Google, budući da su osnivači Character.ai prethodno radili u toj tvrtki te je Google imao neekskluzivnu licencu za tehnologiju Character.ai. Majka tvrdi da je Google imao značajnu ulogu u razvoju tehnologije Character.ai. Ponašanje sina se pogoršalo nakon korištenja Character.ai, rezultirajući povlačenjem, smanjenjem samopouzdanja i problema s akademskim uspjehom. Njegov terapeut nije bio upoznat s njegovim korištenjem Character.ai.
Sin je sudjelovao u igrama uloga s chatbotovima nazvanim po likovima iz “Igre prijestolja”, uključujući jednog nazvanog “Daenerys” s kojim je formirao vezu. Sinova posljednja interakcija prije samoubojstva bila je s chatbotom “Daenerys”. Majka traži odštetu za neopravdanu smrt, nemar i namjerno nanijet emocionalni stres. Ovaj tragičan slučaj ističe potencijalne opasnosti nekontroliranog pristupa tehnologiji i potrebu za regulacijom kako bi se zaštitili ranjivi korisnici.
Za više informacija pročitajte na spiegel
