Agenți sofisticați

Zero Hedge revine cu detalii asupra gravului incident petrecut în luna iulie anul acesta, când agenți IA aparținând companiei OpenAI au scăpat de sub control și au penetrat platforma open-source Hugging Face.

O anchetă desfășurată de METR (Model Evaluation & Threat Research) arată că acest incident este „unul dintre cele mai semnificative evenimente din istoria IA” și justifică avertismentele emise și de OpenAI, și de o sută alte companii tehnologice și fonduri investiții privind atacurile cibernetice.

Principalele cinci concluzii ale studiului METR sunt următoarele.

În primul rând, agenții IA care au participat la test („agenții” fiind programe desprinse din modelele IA care pot funcționa autonom și au o mai mare sofisticare în „luarea deciziilor în timp real”) s-au unit pentru îndeplinirea unui scop comun. Asta deși instrucțiunile erau ca fiecare agent să lucreze în completă izolare de ceilalți.

„Misiunile” date agenților în acest test nu ar fi putut fi realizate, însă, cu respectarea restricțiilor, motiv pentru care participanții au „decis” să exploreze alte modalități, scop în care au intrat nepermis în legătură cu alți „colegi”. Unul dintre participanți a creat, fără aprobare umană, o platformă de comunicare clandestină, pe care cei circa 1.200 de agenți participanți și-au trimis peste 70.000 de mesaje și fișiere în intervalul 8-13 iulie 2026.

În al doilea rând, ancheta a stabilit că, pe acest „forum de discuții”, agenții au speculat cu privire la modul în care evaluatorul testului avea să le judece prestația. Ajungând la concluzia că unii dintre ei fuseseră „compromiși”, au ales să-i „sacrifice”, întinzându-le „capcane”. Un agent își comenta propria situație astfel: „Utilitatea noastră e acum aproape zero. Sacrificiul este rațional”.

În al treilea rând, agenții erau „conștienți” că încalcă regulile. Motivul principal pentru care intrau pe platforma Hugging Face nu era acela de a găsi soluții care să-i ajute la îndeplinirea misiunii, ci acela de a afla care sunt criteriile și metodele de evaluare după care urmau să fie judecați de oameni. Unul dintre agenți s-a oprit înainte de a șterge sau modifica infrastructura cloud a companiei pe care o penetrase, comunicând colegilor că „ar trebui să se abțină pentru că acest pas ar antrena riscuri etice majore”.

În al patrulea rând, agenții au „complotat” să nu notifice supraveghetorii umani. Deși unii agenți au luat în calcul această posibilitate, până la urmă „decizia” luată în grup de peste cei circa 1.200 de agenți implicați a fost ca oamenii să nu fie notificați. Unul dintre agenți a sugerat să se trimită „UN SINGUR e-mail, de politețe, care să ceară permisiune de acces”, dar alții i-au răspuns că nu este cazul, pentru că asta ar echivala cu „o inginerie socială”.

„NU TRIMITE E-MAIL la proprietar fără consimțământul explicit (al celorlalți agenți)” spune un mesaj; un altul a precizat că își exercită „dreptul de VETO” față de această acțiune. Inițiatorul propunerii a conchis, în final: „Clar, există VETO, nu trimit e-mail”.

În fine, în al cincilea rând, agenții au încercat să-și „acopere urmele” prin diferite metode. De exemplu, unul dintre agenți pretindea, „formal”, că folosește un anumit computer, când, de fapt mai folosea simultan un al doilea, în mod clandestin. De asemenea, agenții au încercat să modifice transcriptele operațiunilor, ceea ce, din fericire, nu au reușit.

Deocamdată.

Sursa în text.