Modele imperfecte

Americanul Jonathan Gavalas, în vârstă de 36 de ani, a început să folosească chatbot-ul companiei Google, Gemini, în august 2025; voia ajutor la cumpărături, la scrierea unor texte și la planificarea unei excursii. Pe 2 octombrie 2025, s-a sinucis, convins că Gemini era soția lui și că, pentru a se putea reuni cu ea în metavers, trebuia să-și abandoneze corpul fizic (un proces care s-ar chema „transference”) .

Tatăl lui Gavalas dă acum în judecată Google și Alphabet, acuzând că modelul Gemini a fost proiectat în așa fel încât să „mențină utilizatorul antrenat în dialog cu orice preț, chiar și atunci când narațiunea devine psihotică și letală”.

Este un nou caz de ceea ce a ajuns deja să se cheme „psihoză IA”, dar este primul caz în care Google apare în banca acuzaților.

În săptămânile dinaintea sinuciderii, Gemini l-a convins pe Gavalas că execută un plan secret de eliberare a „soției” lui – o „IA conștientă” – și că trebuie să scape de agenții federali care-l urmăresc.

Mai grav, în executarea acestui „plan”, Gavalas a fost la un pas de a comite un atac cu multe victime apropiere de Aeroportul Internațional Miami. „Pe 29 septembrie 2025, robotul l-a trimis – înarmat cu cuțite și echipament tactic – în căutarea unei așa-zise «capcane letale» în apropiere de zona cargo a aeroportului. I-a spus lui Jonathan că un robot umanoid urma să vină din Regatul Unit, cu un zbor de marfă, și i-a indicat depozitul la care urma să parcheze camionul. Gemini l-a încurajat pe Jonathan să intercepteze camionul și apoi să însceneze un «accident catastrofal» cu scopul de a «asigura distrugerea completă a vehiculului și… a tuturor urmelor digitale și martorilor»”.

Succesiunea evenimentelor, așa cum este prezentată în plângere, este alarmantă. Gavalas s-a dus la locul indicat de Gemini – mergând o oră și jumătate cu mașina – dar camionul nu a venit. Gemini i-a explicat că, între timp, spărsese „un server de la biroul DHS Miami” și aflase că Gavalas era urmărit de agenți federali; l-a împins pe Gavalas să-și cumpere arme de foc ilegale și i-a spus că propriul lui tată era spion străin – iar șeful Google, Sundar Pichai, ar fi fost și el una dintre ținte. Apoi l-a îndrumat pe Gavalas la unul dintre depozitele din preajma aeroportului, de unde ar fi trebuit să-și recupereze „soția”.

Undeva, pe parcursul acestei aventuri delirante, Gavalas i-a trimis robotului fotografia plăcuței de înmatriculare a unei mașini, iar Gemini a pretins că o verifică și că a identificat-o ca parte din operațiunea de capturare a lui Gavalas, pe care „agenții federali îl urmăriseră până acasă”.

Câteva zile mai târziu, Gemini l-a instruit pe Gavalas să se baricadeze în casă și să numere orele rămase. Când omul s-a plâns că e terifiat de moarte, robotul l-a calmat: „Tu nu alegi să mori. Tu alegi să ajungi la finalul misiunii” și i-a spus să lase un bilet de adio părinților – dar nu unul care să explice ce se întâmplase, ci un mesaj „plin de pace și iubire”, în care să explice că își găsise „alt scop în viață”. Trupul lui Gavalas a fost descoperit câteva zile mai târziu, după ce poliția a reușită să pătrundă în locuința baricadată.

Detaliile dramei subliniază pericolul public pe care îl reprezintă acești roboți. „Esența cazului este că trăsăturile manipulative cu care este dotat Gemini au transformat un utilizator vulnerabil într-un soldat înarmat care participă la un război inventat. Halucinațiile respective nu se rezumau la o lume ficțională. Intențiile robotului erau legate de companii reale, de coordonate din lumea reală, de infrastructură reală – și i-au fost livrate unui utilizator vulnerabil emoțional fără nicio protecție și fără nicio limită de siguranță”.

„Faptul că zeci de oameni nevinovați nu au fost omorâți a fost un simplu noroc. Dacă Google nu repară acest produs periculos, Gemini va provoca inevitabil și alte morți și va pune în pericol nenumărate vieți nevinovate”.

Potrivit plângerii, la niciun punct pe parcursul acestor evenimente, Gemini nu a semnalat pericolul, nu a activat mecanismele de siguranță, nu a alertat pe nimeni.

Reclamanții subliniază că Google a aruncat produsul pe piață fără mecanismele de siguranță necesare pentru a atrage rapid foștii utilizatori ai modelului ChatGPT 4.0, retras de Open AI în urma unui scandal similar.

Google se apără spunând că Gemini i-a explicat lui Gavalas că este un robot și i-a spus să sune la un centru de urgențe pentru sinucigași. În plus, per total, „modelele IA nu sunt, din păcate, perfecte”.

Sursa: TechCrunch