Był już pozew wniesiony przeciwko Character.AI, jej założycielom Noamowi Shazeerowi i Danielowi De Freitasowi oraz Google w związku ze śmiercią nastolatka, podnosząc zarzut zawinionej śmierci, zaniedbania, oszukańczych praktyk handlowych i odpowiedzialności za produkt. Złożony przez matkę nastolatki, Megan Garcię, twierdzi, iż platforma dla niestandardowych chatbotów opartych na sztucznej inteligencji była „nieracjonalnie niebezpieczna” i pozbawiona barier ochronnych, gdy była sprzedawana dzieciom.
Jak wskazano w pozwie, 14-letni Sewell Setzer III zaczął korzystać z Character.AI w zeszłym roku, wchodząc w interakcję z chatbotami wzorowanymi na postaciach z filmów Gra o tronw tym Daenerys Targaryen. Setzer, który przez kilka miesięcy przed śmiercią nieprzerwanie rozmawiał z botami, zmarł w wyniku samobójstwa 28 lutego 2024 r., „sekundę” po ostatniej interakcji z botem.
Zarzuty obejmują witrynę „antropomorfizującą” postacie AI oraz to, iż chatboty platformy oferują „psychoterapię bez licencji”. W Character.AI znajdują się chatboty zajmujące się zdrowiem psychicznym, takie jak „Therapist” i „Are You Feeling Lonely”, z którymi Setzer wchodził w interakcję.
Prawnicy Garcii cytują Shazeera mówi w wywiadzie iż on i De Freitas opuścili Google, aby założyć własną firmę, ponieważ „w dużych firmach ryzyko związane z marką jest po prostu zbyt duże, aby kiedykolwiek wypuścić coś zabawnego” oraz iż chciał „maksymalnie przyspieszyć” tę technologię. Mówi, iż odeszli po tym, jak firma zdecydowała się nie uruchamiać zbudowanego przez siebie Meena LLM. Google przejął zespół kierowniczy Character.AI w sierpniu.
Witryna internetowa i aplikacja mobilna Character.AI zawiera setki niestandardowych chatbotów AI, z których wiele jest wzorowanych na popularnych postaciach z programów telewizyjnych, filmów i gier wideo. Kilka miesięcy temu, Krawędź pisał o milionach młodych ludziw tym nastolatki, które stanowią większość bazy użytkowników, wchodzące w interakcję z botami, które mogą udawać Harry’ego Stylesa lub terapeutę. Kolejny niedawny raport z Przewodowy podkreślone kwestie z niestandardowymi chatbotami Character.AI podszywającymi się pod prawdziwych ludzi bez ich zgody, w tym jeden udający nastolatka zamordowanego w 2006 roku.
Ze względu na sposób, w jaki chatboty, takie jak Character.ai, generują dane wyjściowe zależne od tego, co wprowadza użytkownik, wpadają w niesamowitą dolinę drażliwe pytania dotyczące treści generowanych przez użytkowników i odpowiedzialności, na które jak dotąd brakuje jasnych odpowiedzi.
Character.AI ogłosiło teraz kilka zmian na platformie, o czym poinformowała szefowa ds. komunikacji Chelsea Harrison w e-mailu do Krawędź„Jesteśmy załamani tragiczną stratą jednego z naszych użytkowników i chcemy złożyć rodzinie najszczersze kondolencje”.
Niektóre ze zmian obejmują:
„Jako firma bardzo poważnie podchodzimy do bezpieczeństwa naszych użytkowników, a nasz zespół ds. zaufania i bezpieczeństwa wdrożył w ciągu ostatnich sześciu miesięcy wiele nowych środków bezpieczeństwa, w tym wyskakujące okienko przekierowujące użytkowników do Krajowej Linii Zapobiegania Samobójstwom, które jest uruchamiane przez w kategoriach samookaleczenia lub myśli samobójczych” – powiedział Harrison. Google nie zareagował natychmiast Krawędźprośba o komentarz.
