Medium găzduiește multe analize și comentarii privitoare la sectorul IA – iar, în ultima vreme, criticile și avertismentele se înmulțesc.
Un articol recent, intitulat „Un diagnostic terminal pentru IA”, susține că, după trei ani de hype și miliarde de dolari investiți, produsul (IA) este la fel de viciat, iar narațiunea oficială ascunde adevărul.
Autorul compară situația cu cea în care medicul i-ar spune pacientului său: „Am două vești pentru tine. Cea bună este că rezultatele analizelor sunt excelente. A doua, că mai ai numai o lună de trăit”.
În cazul IA, vestea „bună” este că încă se mai investesc miliarde în această industrie; OpenAI și Anthropic vizează o cotare la bursă, SpaceX declară că 85% din piața sa este IA, cipurile produse de Nvidia se vând ca pâinea caldă. Vestea proastă este că tot acest entuziasm nu există decât pe scenă; în culise, unde ar trebui să-și aibă rădăcinile acest optimism, nu se întâmplă nimic – „e pustiu”, spune articolul. „Dar, desigur, nu vor admite asta niciodată”.
Întrebând unde este produsul finit, autorul își descrie experiența cu câteva modele IA care nu au fost în stare să facă un rezumat al unei lucrări de 76 de pagini, formată din introducere, cinci capitole și o încheiere. Roboții s-au descurcat cu primele două părți, după care au început să abereze, inventând secțiuni, sărind peste cele existente, distorsionând sensuri.
„Toate astea la trei ani după ce așa-zisa cea mai transformativă tehnologie din istorie a năvălit în viețile noastre! Mașina face exact aceleași greșeli. Nu s-a schimbat nimic substanțial.”
Standardele de evaluare sunt o escrocherie, continuă analiza. Modelele primesc scoruri impresionante, dar, în realitate, performanța este slabă. De ce? Pentru că acele standarde nu măsoară capacitatea modelului de a executa misiuni reale, ci „este ca și cum i-ai tot pregăti pe elevi pentru cum se dă un examen, în loc să le predai subiectul – iau note bune, dar nu știu nimic”.
Această problemă afectează întreg sectorul IA și se numește, oficial, Data Contamination: pentru toate evaluările clasice (MMLU, GSM8K, HumanEval, etc.), răspunsurile la teste sunt deja incluse în datele de antrenament ale modelelor. De aceea primesc note atât de mari la „inteligență”, în condițiile în care nu rezolvă niciodată o problemă nouă – doar memorează tiparele existente.
Cercetătorii independenți au prins de nenumărate ori IA în flagrant: dacă scoți datele memorate, „mintea” modelelor LLM se oprește instantaneu, transformând pretinsul robot inteligent într-un „total idiot”. Experimente precum Shift by 1 sau The Reversal Curse au demonstrat totala lipsă a raționamentului logic la aceste modele. Dezvoltatorii recurg la tot felul de protocoale pentru a reduce frecvența acestor rateuri, dar viciile fundamentale ale tehnologiei rămân.
Singurul standard independent și obiectiv, susține articolul este ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence), care cere modelelor să rezolve dileme simple, construite în jurul unor prezumții cognitive de bază (Core Knowledge priors), care permit oamenilor să se descurce în lumea fizică fără nicio instruire prealabilă.
„De exemplu, noi înțelegem că nu poți trece printr-un zid sau sări peste un gard de trei metri. Un model LLM nu înțelege asta dacă nu e instruit. Modelul poate produce un răspuns corect numai dacă i se descrie un scenariu din lumea reală, altfel, nu înțelege această lume. El a fost antrenat pe un volum enorm de texte care descriu situații, din care el poate sintetiza răspunsul corect. Dar, dacă i se prezintă nu un text, ci o structură spațială, eșuează spectaculos. Și asta nu pentru că modelele nu sunt destul de mari sau pentru că au nu știu ce problemă teoretică pe cale de rezolvare.
Motivul este incompatibilitatea fundamentală dintre arhitectura LLM și acele prezumții cognitive de bază. Astfel că, la ultima versiune ARC-AGI (3), performanța umană este 100%, iar cea a IA este de sub 8%.”
Altfel spus, „la misiunile care necesită abilități de raționare autentice, nu fabricate, performanța IA este rudimentară”, și asta nu pentru că tehnologia nu este încă suficient de dezvoltată, cum spun promotorii ei, ci dintr-o „incompatibilitate fundamentală între această tehnologie și denumirea ei oficială, de «Inteligență Artificială»”.
Dar, în ultimă instanță, susține analiza, problema nu este tehnologia: „Nimeni n-ar acuza un ciocan că nu e șurubelniță. Mai degrabă, îl acuzi pe cel care încearcă să-ți vândă un ciocan pe post de șurubelniță că este escroc”.
„Este exact ce se întâmplă acum. Narațiunea IA a transformat o poveste speculativă într-o escrocherie devenită, deja, ditamai frauda. Adevărul este că IA nu face ce a promis, dar Altman, Amodei, Musk și ceilalți beneficiari ai bulei IA se comportă ca și cum n-ar ști acest lucru.”
Acceptând că, poate, Musk nu își dă seama de aceste lucruri (pentru că „a citit prea multă literatură SF de doi bani și a decis că este de ajuns să-și dorească el suficient de mult și atunci IA cea atotputernică va fi a lui”), articolul nu e la fel de generos cu Altman (OpenAI) și Amodei (Anthropic), care au mizat totul pe IA.
„A admite că sunt fundamental incapabili să livreze ce au promis este, pentru ei, moartea. Așa că tot ce pot face este să vândă publicului propria lor versiune de realitate, drastic diferită de realitatea reală. Ei știu foarte bine ce se întâmplă, dar spațiul de manveră pe care îl au la dispoziție este extrem de îngust. Au căzut în capcana propriei lăcomii, a propriei ambiții și propriei aroganțe nemăsurate”.
Liderii sectorului nu mai pot da înapoi; ar fi, pentru ei, o catastrofă. Așa că încearcă să extragă maximul de avere – inclusiv prin listarea la bursă – și să mai reziste un an, doi, poate mai mult, dacă au noroc. Poate chiar speră că, printr-un miracol, cineva va veni cu o soluție radicală, ceva care să rezolve problemele și „să transforme IA dintr-un cuptor de ars bani într-o gâscă cu ouă de aur”.
„Dar nu se va întâmpla. S-a probat matematic că halucinațiile sunt o trăsătură inerentă a arhitecturii IA curente, care nu poate fi eliminată. IA care ne-a fost vândută nu este un produs minunat, care progresează rapid, fructul unei inginerii sclipitoare. Este un monstru Frankenstein – pus cap la cap cu grijă din bucăți ca să ne dea impresia că e viu, deși este mort.
Oricum ar fi, pe beneficiarii bulei IA nu-i intersează tehnologia. Pe ei îi intersează un singur lucru: cum să stoarcă maximum de profit din acest hype și cum să-și calculeze corect momentul optim pentru exit.
Ce se întâmplă după aceea – criză, sau chiar o catastrofă financiară – nu mai este problema lor. Speră să treacă prin ea adăpostiți în vilele lor, izolați de restul societății, sub pază armată. Până la urmă, nu ar fi prima dată când s-ar întâmpla așa ceva în istoria Occidentului. Iar ei nu iau doar teoretic în calcul acest scenariu – ci se pregătesc activ pentru el.”
Sursa în text.
