O lume controlată de IA: convergența între socialism și capitalism

Timp de 50 de ani, capitalismul și socialismul au urmat căi diferite; astăzi, vedem că ele au dus în același loc: coordonarea omenirii prin algoritmi, la nivel global.

Filmul Cybernetics Run the World, creat și publicat de Art of the Problem cu ajutorul unei asociații care luptă împotriva pericolelor create de inteligența artificială (ControlAI), prezintă modul în care cibernetica – o știință a controlului și comunicării în sisteme complexe – a modelat atât ierarhiile corporatiste în Occidentul capitalist, cât și experimentele de planificare socială în blocul socialist.

În cadrul unui proiect numit OGAS, sovieticii au încercat să realizeze planificarea centralizată cu ajutorul unui computer; în Chile, președintele Salvador Allende a testat coordonarea economiei în timp real printr-un sistem cibernetic numit Cybersyn. În acea perioadă, America miza pe mecanismele pieței și pe concurență.

Astăzi, însă, toate drumurile converg spre o unică soluție: algoritmii inteligenței artificiale iau decizii pentru miliarde de persoane. Telefoanele smart sunt acum mecanismul prin care sistemul visat de ciberneticianul britanic Stafford Beer în Chile, în 1971, a devenit o realitate: prin intermediul lor, sistemul ne hrănește constant cu opțiuni, dar decide ce vedem, ce cumpărăm, la ce ne gândim.

Întrebarea care se pune astăzi nu mai este capitalism vs. socialism. Întrebarea, astăzi, este cine controlează, în mod obiectiv, aceste sisteme cibernetice care ne coordonează? Semnalele pe care le emit pe piață milioane de indivizi, prin alegerile lor, sau obiectivele stabilite de un grup mic de persoane?

Ambele opțiuni se bazează acum pe aceeași infrastructură de algoritmi care iau deciziile. Așa cum avertiza Beer acum decenii, „computerele ar putea inventa o strategie dincolo de capacitatea noastră de înțelegere”. Indiferent ce i-a motivat – lăcomia ori dorința de a planifica – oamenii au construit sisteme de care au ajuns să ne coordoneze viețile.

Includ mai jos traducerea transcriptului; filmul poate fi urmărit în limba engleză aici:

Un vis socialist, dar și capitalist

Astăzi, cinci companii decid ce văd, ce cumpără și ce cred, la fiecare moment, patru miliarde de oameni. Au mai multă putere decât a putut visa orice guvern pe parcursul istoriei. Dar tehnologia pe care o folosesc aceste companii nu este nouă. Ea a fost concepută acum mulți ani în Uniunea Sovietică.

După Al Doilea Război Mondial, subiectul de dispută la nivel global a devenit: cum trebuie organizate țările? Uniunea Sovietică susținea socialismul: o societate ordonată, planificată, ca o fermă, în care statul deține proprietatea, iar guvernul decide cine ce primește. SUA promova capitalismul, o societate care semăna mai mult cu o pădure, un sistem mai natural, mai liber, în care cetățenii dețin proprietatea și concurează pe o piață liberă.

În 1953, după moartea neașteptată a lui Stalin, oamenii de știință sovietici au simțit o oportunitate: în loc de un alt dictator care să-l înlocuiască pe Stalin, au propus un computer. Numai că, timp de 20 de ani, nu au reușit să cadă de acord asupra unui aspect fundamental: cum să-și cedeze puterea unui algoritm.

În cele din urmă, acest vis, de a folosi tehnologia pentru a face socialismul să funcționeze fără corupție, a fost testat în 1971, în Chile, unde s-a creat primul Internet socialist. A funcționat o scurtă perioadă, dar a fost perceput ca o amenințare clară la adresa ideologiei capitaliste. Motiv pentru care a fost și desființat printr-o lovitură de stat orchestrată de SUA.

Dar, ironic, corporațiile americane au început în același timp, pe tăcute, să construiască exact același tip de sistem, în interiorul propriilor organizații: rețele computerizate enorme, controlate automat prin decizia unor algoritmi. Iar, astăzi, aceste rețele s-au dezvoltat, au crescut și au devenit ceva ce nu este nici chiar un stat și nici chiar o corporație, dar e mai mare decât ambele.

Astfel că ambele sisteme ideologice, atât socialismul, cât și capitalismul, au sfârșit în același punct: o societate în care deciziile sunt luate de inteligența artificială.

Dar, dacă te uiți înapoi în istorie, asta nu este ceva surprinzător, întrucât ambele tabere au început lupta folosindu-se de aceeași strategie militară. Iar acea strategie militară a dat forma lucrurilor care au urmat.

Origini militare: Două blocuri, aceeași strategie

În timpul războiului, ambele tabere s-au confruntat cu aceeași provocare la vârf: cum să coordonezi mii de avioane, nave, soldați, atunci când informația vine într-un ritm mult mai rapid decât poate un om să proceseze? Și au rezolvat problema printr-un sistem ierarhic de comandă și control, în care informația circulă de jos în sus, iar decizia, de sus în jos. Niciun general nu a comandat vreodată în mod direct 100.000 de soldați; generalii comandă un mic număr de ofițeri, care, la rândul lor, comandă alți ofițeri și tot așa, în jos pe scara ierarhică, până la plutonieri, care dau ordine unui număr mic de soldați.

Aceste „săli de operațiuni” l-au impresionat mult pe un tânăr ofițer britanic, un anume Stafford Beer. Pentru el, această abordare se asemăna cu un sistem nervos uman, în care informația ajungea din exterior la creier, iar creierul – aflat în acea „sală de operațiuni” – lua deciziile.

În cele din urmă, toate armatele lumii au adoptat această abordare. Iar sistemul mergea excelent, pentru că toată lumea avea același obiectiv: înfrângerea inamicului. Fiecare decizie care se lua avea ca scop final acest obiectiv.

Ce l-a marcat pe Beer a fost ideea că armatele coordonau, în esență, un sistem socialist, o planificare centralizată a resurselor, în lipsa proprietății private, un sistem în care toată lumea lucra pentru același scop. Altfel spus, problema coordonării fusese rezolvată fără piețe și fără profit. De ce nu putea acest sistem să funcționeze și în afara domeniului strict al războiului?

Obsesia universală a planificării și controlului

Ideea asta era în spiritul vremurilor. Mulți membri ai elitei intelectuale credeau în socialism. Însuși Einstein susținea, în 1949, că o economie planificată, care ajustează producția la nevoile comunității, ar putea fi o soluție bună, cu condiția ca sistemul să fie coordonat prin tehnologia informației. Iar, odată ce Alan Turing a lansat computerul digital, în anii cincizeci, acea tehnologie a părut, deodată, posibilă.

Au urmat, pentru Beer, decenii de cercetare și proiectare a unor centre de control; era epoca de început a computerelor digitale și televiziunii. Schițele lui din acea perioadă par să prevadă, cu decenii înainte, că oamenii vor sta în fața ecranelor și vor pune întrebări unor computere centralizate.

Dar, atunci când încerci să aplici acest sistem, eficient pentru un centru de comandă în timpul războiului, la o întreagă economie, ceva nu funcționează. Sistemul lui Stalin funcționa atunci când se concentra pe câteva obiective simple, cum ar fi creșterea producției de oțel. Dar, pe măsură ce economia sovietică devenea mai complexă, o singură minte nu putea coordona totul, pentru că fiecare decizie năștea nevoia a alte zece decizii. Mai mult oțel însemna mai mult cărbune, ceea ce însemna mai mulți mineri, ceea ce însemna mai multe locuințe, ceea ce însemna mai mult ciment, ceea ce însemna mai multe cariere de calcar, care erau erau necesare și pentru producția de oțel. Complexitatea a crescut exponențial, pentru că totul depindea de totul.

Iar informația de proastă calitate ducea la decizii proaste. Fără semnale privind profitul, directorii de întreprinderi puteau raporta cifre eronate, numai ca să-și apere funcțiile.

Acesta este motivul pentru care, deși capabil să mobilizeze milioane de oameni pentru război, sistemul sovietic nu părea capabil să decidă cum se depozitează și săpun, și pâine, în același magazin.

Iar, pe 5 martie 1953, Stalin a murit urmare unui atac cerebral; întrucât eliminase pe oricine ar fi putut reprezenta o amenințare la adresa autorității lui, nu exista niciun succesor prestabilit. În lupta pentru putere care a urmat, întregul sistem, coordonat până atunci pe baza judecăților lui Stalin, s-a prăbușit în haos.

Dar tehnocrați vizionari ca Stafford Beer au văzut în asta o oportunitate. La acel moment, cercetările în materie de operațiuni, începute de Beer în timpul războiului, deveneau tot mai cunoscute, iar oamenii de știință sovietici au propus ceva care se alinia acestei gândiri: în loc să-l înlocuiască pe Stalin cu un alt dictator, de ce să nu pună în loc un sistem computerizat, o rețea care să poată procesa informația tot mai complexă și să ia decizii pe baza unor algoritmi, iar nu pe baza capriciilor ori acceselor de paranoia ale unui singur individ?

În 1959, se făceau eforturi serioase în această direcție – de exemplu, un proiect supranumit „Cartea roșie”: o rețea de computere cu multe terminale, care trebuia să gestioneze automat întreaga economie sovietică. Proiectul a fost stopat de ministerul sovietic al apărării. În 1962, au încercat din nou, de data asta cu un proiect numit OGAS – tot pentru o economie controlată prin computer; și acesta a fost respins.

Timp de douăzeci de ani, cercetători sovietici sclipitori au încercat diferite abordări ale aceleiași probleme. Dar toate încercările eșuau din același motiv. Problema nu era tehnologia; problema erau interesele concurente din sânul partidului. Nimeni nu voia să-și cedeze puterea de a lua decizii în mâinile unui algoritm.

În paralel, corporațiile americane rezolvau, pe tăcute, aceeași problemă a coordonării, dar în cu totul alt mod. Companiile copiau ierarhia militară de decenii, dar, acum, au adăugat un element crucial, pe care sovieticii îl omiseseră: profitul ca semnal de coordonare. Asta dădea fiecărui manager, la fiecare nivel, posibilitatea de a lua decizii în mod autonom.

Compania General Motors a demonstrat cât de eficient putea fi un astfel de sistem; în anii douăzeci, coordonau deja sute de mii de muncitori în zeci de fabrici. Directorii de fabrică știau care era ținta lor, în materie de profit. Maiștrii din hale aveau la dispoziție indici de eficiență cu care urmăreau liniile de asamblare și performanțele fiecărui muncitor în parte. Ba chiar și muncitorii primeau bonusuri pentru productivitate sporită. Fiecare nivel din cadrul ierarhiei corporatiste putea lua decizii, pentru că profitul le spunea care e decizia bună și care nu.

Iar, pe măsurile ce companiile au crescut, a început să înghită și domenii pentru care, până atunci, apelaseră la piață. Astfel, în loc să cumpere oțel de la furnizori, General Motors a început să-și facă propriul oțel. În loc să angajeze companii de transport, și-a creat propria flotă de camioane. Era mai rapid și mai ieftin să controlezi totul în interior, decât să închei contracte pe piața liberă.

Dar unul dintre modurile cele mai fiabile de a crește profitul a fost, pentru corporații, scăderea costurilor. Ceea ce a însemnat automatizarea corporației în sine. Începând de jos în sus: întâi, optimizarea operațiunilor manuale făcute de muncitori, apoi, înlocuirea muncitorilor cu mașini care le reproduceau mișcările. Automatizarea a urcat, încet-încet, pe scara ierarhică a organizației piramidale. Întâi s-a automatizat munca manuală, apoi munca de birou – secretariat, contabilitate – și, în fine, luarea deciziilor.

Experimentul Chile

Luarea deciziilor era ultimul domeniu care aparținea omului. Dar, în anii șaizeci, niște vizionari au început să se întrebe: ce-ar fi dacă mașinile ar putea gândi și lua decizii? Ce-ar fi să se automatizeze și luarea deciziilor? Iar răspunsul la această întrebare avea să fie supus la test pentru prima dată în lumea reală nu într-o corporație, ci într-o țară unde rezultatul recentelor alegeri generase o undă de șoc în lume.

La acel moment, Chile era experimentul politic pe care întreaga lume îl urmărea îndeaproape. Salvador Allende tocmai devenise primul președinte socialist ales în mod democratic din istoria țării. Și ambele superputeri erau cu ochii pe Chile. Americanii vedeau în alegerea lui Allende un precedent periculos, care putea inspira și pe alții. Sovieticii vedeau validarea ideii lor, că oamenii ar vota socialismul și în Occident. Nu era nevoie de nicio revoluție.

Allende a început rapid să naționalizeze marile industrii, minele de cupru, băncile, uzinele, iar, la finalul lui 1971, birocrația se îneca deja din cauza complexității sporite a sistemului. Se ciocneau acum de aceeași problemă cu care se confruntase și Stalin: Cum coordonezi o economie complexă fără piețe? Iar Flores, ministrul pentru tehnologie al guvernului lui Allende, credea că răspunsul era cibernetica.

La acel moment, cibernetica era un domeniu nou, care prelua din biologie și din știința computerelor, dar pe care puțină lume îl înțelegea. Așa că l-au chemat pe Stafford Beer, ale cărui lucrări despre gestiunea cibernetică ajunseseră acum foarte cunoscute. Beer realizase că, atunci când venea vorba de controlarea unui sistem complex, toată lumea pricepuse lucrurile pe dos. Întrebarea corectă era: Ce-ar fi să nu mai ai nevoie deloc de comandanți umani? Ce-ar fi dacă sistemul ar fi coordonat chiar de informație? Asta era cibernetica.

Gândiți-vă la un termostat. Când se face frig în casă, termostatul nu are nevoie să-ți trimită un raport ca tu să decizi ce trebuie făcut. Informația despre temperatură este cea care controlează în mod direct sistemul de încălzire, oprindu-l sau pornindu-l, după caz. Beer a realizat că acesta era viitorul coordonării la scară mare. Într-un sistem cibernetic, măsurile din sistem sunt cele care coordonează sistemul. În loc să ajungă la decidenții umani, informația poate trece prin rețea și declanșa răspunsuri automate, ca un milion de termostate conectate între ele, fiecare dintre ele sesizând condițiile și răspunzând în mod automat, la scara unei țări întregi, de exemplu.

Cibernetica promitea o a treia cale. Nu era chiar socialism, unde planificatorii de la centru luau toate deciziile; nu era nici capitalism, unde competiția și prețurile determină deciziile în piață. Cibernetica urma să folosească însăși informația, măsurătorile tuturor lucrurilor din societate, hrănind algoritmi care controlează rețele computerizate conectate la toate lucrurile.

Așadar, venise vremea lui Beer. A acceptat imediat oferta și s-a mutat din Marea Britanie în Chile. Numai că trebuia să muncească repede și pe bani puțini – așa că echipa lui s-a folosit de tehnologia existentă: linii telefonice vechi, mașini vechi de telex împrăștiate prin țară, toate conectate la un singur computer central la care aveau acces. Au conectat foarte repede între ele 150 de uzine, ceea ce a fost o mare realizare inginerească.

Acesta a fost proiectul Cybersyn, sistemul nervos cibernetic al întregului Chile. Camera de comandă arăta ca o navă spațială. Era viitorul, construit în 1972. În câteva luni, a devenit funcțional. Închipuiți-vă: la ora 16:00, o lipsă de resurse la o mină de cupru făcea o mașină de telex să trimită o alertă în rețea; la 16:05, computerul central distribuia automat mesajul la trei furnizori de rezervă; la 16:15, erau trimise camioanele cu resurse. Fără să fie nevoie de nicio coordonare umană. Problema era rezolvată direct de informație.

Vedem același lucru azi, când aplicația Waze redirecționează traficul pentru a ocoli scena unui accident ori Uber coordonează șoferii prin zone aglomerate; imaginați-vă asta la scara întregii economii. Spre surprinderea lui Beer, alte uzine cereau să fie conectate la sistem, care a crescut repede la 500 de abonați. Directorii de fabrică descopereau că se pot coordona direct între ei, ocolind cu totul factorii de decizie de la centru. Viziunea lui Beer părea să prindă aripi.

Dar de ce să se oprească la fabrici și uzine? A propus ca fiecare gospodărie din Chile să fie dotată cu un sistem de apel, prin care cetățenii să trimită direct semnale codificate în rețea, exprimând sentimente pozitive sau negative față de guvern. Iată o adevărată democrație cibernetică!

Dar, pe 11 septembrie 1973, s-a stins lumina. Ecranele s-au stins. Mașinile de telex, care țăcăneau într-una, au tăcut. În câteva ore, ofițeri militari intrau în centrul de comandă și distrugeau sistematic toate echipamentele. Lovitura de stat orchestrată de SUA a închis sistemul.

Există imagini filmate ale acestui moment [00:15:07], unul dintre cele mai remarcabile din istorie. Când a început lovitura de stat, la palat se găseau niște cameramani care tocmai filmau. Unul dintre ei a fost împușcat în vârtejul evenimentelor, dar a continuat să filmeze până și-a dat sufletul. Filmul lui a fost scos clandestin din Chile de un producător; și l-a strecurat în chiloți. Experimentul tehnocratic socialist se terminase și nu avea să mai fie repornit.

Primul Internet: ARPANET

Dar, în exact același moment, la 3000 de mile distanță, în California, se dezvolta, pe tăcute, alt experiment: ARPANET – o rețea finanțată inițial de Pentagon pentru a-i ajuta pe cercetătorii din universități să facă schimb de resurse de calcul, dar extinsă apoi pentru a crea un sistem de comunicații militare care să supraviețuiască în caz de război nuclear. Nicio defecțiune punctuală nu-l putea distruge; dacă o conexiunea cădea, pachetele de date găseau în mod automat căi alternative de a trece mai departe prin rețea.

Asta era viziunea de distribuție coordonată a informației a lui Beer, dar construită ca infrastructură publică. Oricine se poate conecta la ceea ce numim azi „Internet” și poate contribui în rețea. Iar cererea a fost mult mai mare decât se așteptau creatorii sistemului.

Steve Jobs, fondator Apple: „Rețeaua este incredibil de fascinantă, pentru că reprezintă împlinirea multora dintre visele noastre privind computerul, care ar trebui să devină nu doar principalul nostru echipament de calcul, ci să se metamorfozeze și într-un echipament de comunicație.”

Pe parcursul anilor optzeci și nouăzeci, companiile au început să construiască pornind de la această infrastuctură publică de Internet, în care operau cum ar opera orice altă companie într-un oraș, folosind electricitate și drumuri. Internetul oferea fundația comună, companiile au construit stratul adăugat de servicii.

Exact ce prevăzuse Beer, dar cu o diferență crucială: în loc să optimizeze sistemul pentru nevoile societății, companiile l-au optimizat pentru creșterea profitului propriu. Beer însuși se arătase tulburat să vadă că profitul funcționa atât de bine ca standard în procesul de luare a deciziilor; părea că determină companiile să producă, de fiecare dată, produsele de care oamenii aveau nevoie și pe care și le doreau. Sistemul funcționa grație magiei prețului pieței, care se asigura că oferta răspunde cererii. Oamenii obțineau ceea ce voiau și inovația nu se mai oprea. Semnalele legate de preț controlau în mod automat sistemul. Ocazie cu care Beers a conchis că și piețele tot sisteme cibernetice erau.

Marile monopoluri

Să luăm ca exemplu compania Amazon.

Jeff Bezos, fondatorul Amazon: „În primăvara lui 1994, statisticile spuneau că utilizarea Internetului creștea cu 2.300% pe an. Tehnologia de bază este foarte simplă. Problema era ubicuitatea acestei tehnologii. Și asta părea să fie din cauză că, la acea rată de creștere, tehnologia de bază necesară pentru a face comerț electronic de o manieră acceptabilă devenea ubicuă.”

Internetul nu era doar o modalitate de a vinde cărți. Era și modalitatea de a colecta cantități enorme de informație despre ce voiau oamenii și, apoi, de a utiliza acea informație pentru a maximiza automat profitul, decizând ce cărți trebuie să ai în stoc, ce furnizori să folosești, cum să stabilești prețul pentru fiecare obiect etc.

Și apoi s-a întâmplat ceva major: Amazon a încetat să folosească, pur și simplu, Internetul, și a început să dețină piața însăși. Nu mai vindeau doar cărți online. Au devenit magazinul universal pentru orice produs. Adevărata lor putere era că deveneau o piață.

Google a făcut același lucru întâi cu căutarea, apoi cu publicitatea. Apple a făcut-o cu distribuția de aplicații

Steve Jobs: „Numim asta Appstore. Și o vom pune pe fiecare iPhone la următorul software.”

Au devenit singurul loc unde îți poți vinde aplicația.

Aceste companii au crescut și au devenit ceva fără precedent. Întreaga experiență a utilizatorilor lor era mediată de algoritmii computerelor. Când ați vorbit vreodată direct cu cineva de la Google sau de la Facebook?

Algoritmii: factori de decizie și instrument de manipulare

Astfel, s-a ajuns și la ultima problemă care trebuia soluționată cu viziunea lui Beer despre automatizare: luarea celor mai complexe decizii umane, acele decizii din zona gri, decizii care, spre deosebire de soluționarea unei probleme de logică sau matematică, nu au un răspuns corect sau greșit. Sunt judecăți de valoare. Beer le numea decizii euristice și nu le găsise o soluție.

Dar companiile de Internet făceau progrese rapide. Să ne uităm la Netflix, la începutul anilor 2000: la început, comercianții umani organizau manual filmele pe categorii, exact ca într-un magazin de casete video de pe vremuri. Dar, pe măsură ce catalogul lor de produse a crescut, această gestiune umană a devenit imposibilă. Prima lor mare realizare a fost să adopte un algoritm de recomandări, pornind de la tiparul de preferințe al altor persoane care au vizionat filme similare – așa-zisa „filtrare colaborativă”… Deodată, utilizatorii primeau ce-și doreau fără să fie nevoie de intervenția unui om.

Facebook a făcut aceeași schimbare în 2009… Înainte, vedeai postările prietenilor în ordine cronologică, dar, deodată, algoritmii au început să selecteze postările pe care le vezi pornind de la obiectivul de a-ți capta atenția. Inițial, oamenii s-au enervat, dar, în spatele ușilor închise, cei de la Facebook au văzut că angajamentul utilizatorilor în rețea a explodat. Venise epoca „doomscrolling” [consum compulsiv de știri și informații șocante pe Internet]…

Un punct de turnură a fost anul 2012, când rețelele neuronale au au dovedit că pot recunoaște tipare în date mai bine decât oamenii, începând cu imaginile și continuând apoi cu alte tipuri de date.

YouTube este, probabil, exemplul perfect. În 2012, se încărcau 400 de ore de înregistrare video pe minut. Au încercat să folosească echipe umane pentru a crea liste de clipuri pe care oamenii ar fi vrut să le vadă, dar au trecut apoi la un algoritm bazat pe o rețea neurală care își ia informația de la comportamentul utilizatorului. Când au făcut această schimbare, utilizatorii fideli de YouTube s-au revoltat, pentru că au început să primească imagini de la canale la care nu erau abonați. Numai că, la fel ca și cu Facebook, YouTube a observat că timpul de vizionare per total crescuse enorm. După aceea, YouTube a început să le dea oamenilor ceea ce aceștia nu știau că vor, în loc să le dea ceea ce YouTube știa că vor să vadă.

Ambele platforme au descoperit același lucru: algoritmii computerizați, hrăniți de rețele neurale, iau decizii mai bune decât editorii și managerii umani.

Preluarea guvernării

Această agregare de informație s-a extins acum și la guverne. Avem companii de predicție a pieței precum Kalshi, unde oamenii pot paria care partid va controla Congresul, creând o semnale de piață în timp real pentru rezultate politice.

Când milioane de dolari trec dintr-un buzunar în altul pe baza unor mesaje politice sau evenimente de campanie, cum spune un politician: „ce sens mai are să încerc să fiu reales la Senat”. Politicienii văd instantaneu efectul pe care o anumită decizie politică pe care ar lua-o l-ar avea asupra șanselor lor electorale. Șansele de acceptare pe care le-ar avea o anumită politică, figurate pe această piață politică, devin un nou flux de date care alimentează, prin feedback, orice decizie la nivel de guvern.

Astfel, visul lui Beer s-a împlinit integral. Telefoanele smart au devenit acele echipamente de feedback pe care voia el să le implementeze în Chile. Cetățenii contribuie azi permanent cu propriul input, cu propriile preferințe – prin clickuri, prin număr de vizionări, prin ceea ce cumpără. Iar algoritmii procesează aceste date și decid de vezi, ce gândești, ce cumperi și chiar ce mănânci – exact cum prevăzuse Beer. Dar, de data asta, la o scară globală și învățând din fiecare interacțiune umană.

Cine controlează sistemul?

Și aici vedem strania convergență dintre capitalism și socialism. Ambele ideologii au sfârșit în același loc. Ambele au evoluat spre un sistem gestionat de inteligența artificială, un sistem la cârma căruia nu se mai află oamenii.

Întrebarea care rămâne este ce ghidează sau ce controlează aceste sisteme, cunoscute ca „funcții” sau „scopuri obiective”? Profitul care reiese din milioanele de opțiuni individuale, sau un mic grup de oameni care decide care este obiectivul final? Indiferent ce răspuns alegem, trebuie să luăm seama la o dificultate pe care Beer o semnala deja acum decenii:

„Computerele ar putea inventa o strategie care depășește capacitatea noastră de înțelegere”.

Întrebarea nu este doar dacă putem avea încredere în IA atunci când obiectivul este profitul ori un alt obiectiv decis de o mână de oameni.

Problema este că aceste mecanisme de control centralizat creează o infrastructură perfectă pentru ca o superinteligență artificială să se conecteze și să preia controlul.

Companiile dezvoltă sisteme de inteligență artificială generală mult mai capabile decât orice persoană, orice corporație, orice națiune. Sisteme care pot face orice muncă mai rapid, mai eficient și mai ieftin decât omul. Pe măsură ce aceste sisteme devin mai sofisticate, omul este împins tot mai mult în afara cercului decizional iar, într-o bună zi, vom preda cu totul acestor mașini și ultima noastră pârghie de control asupra lumii.

Nu este o speculație lipsită de temei. Chiar și experții care construiesc aceste sisteme avertizează că suntem pe o cale periculoasă. În 2023, peste 350 de experți în IA – printre care câțiva laureați ai Premiului Nobel, cei mai cunoscuți specialiști în domeniul inteligenței artificiale, ba chiar și șefii unor corporații din domeniu – au semnat o declarație care pune riscul extincției umanității din cauza IA pe lista priorităților globale, alături de riscul pandemic și riscul nuclear…

Astfel, după ce Beer a petrecut decenii în efortul de a rezolva problema coordonării, noi am reușit; am reușit dincolo de cele mai nebunești vise ale lui, dar nu în sensul în care intenționa el. Și, acum, ne confruntăm cu consecințele acestui succes.

Stafford Beer: „Am desenat pe hârtie această schiță. Să presupunem că acestea sunt elementele organizației statului, marile ministere. Aici ai ministerul de externe, aici, pe cel al economiei. Urcând, ajung la ce mai de sus departament, care era Sistemul 5 în schița mea. Și tocmai mă pregăteam, trăgând histrionic aer în piept, să îi spun [lui Allende]: «Iar aici, Compagno Presidente, sunteți dumneavoastră», dar nu am mai apucat, pentu că el, zâmbind larg, a spus: «Ah, Sistemul 5! În sfârșit! Aici este poporul»…”