Dacă credeți că inteligența artificială prezintă riscuri grave pentru umanitate, atunci un profesor de la Universitatea Carnegie Mellon are unul dintre cele mai importante roluri în industria tehnologiei în acest moment.
Zico Kolter conduce un panel de 4 persoane la OpenAI care are autoritatea de a opri lansarea de noi sisteme AI de către producătorul ChatGPT, dacă le consideră nesigure. Aceasta ar putea fi o tehnologie atât de puternică încât un răufăcător ar putea să o folosească pentru a fabrica arme de distrugere în masă. Ar putea fi, de asemenea, un nou chatbot atât de prost proiectat încât va afecta sănătatea mintală a oamenilor.
„Foarte mult, nu vorbim aici doar despre preocupări existențiale”, a spus Kolter într-un interviu pentru The Associated Press. „Vorbim despre întreaga gamă de probleme de siguranță și securitate și despre subiectele critice care apar atunci când începem să vorbim despre aceste sisteme AI foarte utilizate pe scară largă.”
OpenAI l-a selectat pe informatician să fie președintele Comitetului de siguranță și securitate în urmă cu mai bine de un an, dar poziția a căpătat o importanță sporită săptămâna trecută, când autoritățile de reglementare din California și Delaware au făcut din supravegherea lui Kolter o parte cheie a acordurilor lor pentru a permite OpenAI să formeze o nouă structură de afaceri pentru a strânge mai ușor capital și a obține profit.
Siguranța a fost esențială pentru misiunea OpenAI de când a fost fondat ca un laborator de cercetare nonprofit cu un deceniu în urmă, cu scopul de a construi IA mai bună decât cea umană, care să beneficieze umanitatea. Dar după ce lansarea sa a ChatGPT a declanșat un boom comercial global de AI, compania a fost acuzată că a introdus produsele pe piață înainte ca acestea să fie pe deplin în siguranță pentru a rămâne în fruntea cursei. Diviziunile interne care au dus la înlăturarea temporară a CEO-ului Sam Altman în 2023 au adus acele preocupări că acesta s-a îndepărtat de misiunea sa unui public mai larg.
Organizația cu sediul în San Francisco s-a confruntat cu respingeri – inclusiv un proces din partea cofondatorului Elon Musk – atunci când a început demersurile pentru a se transforma într-o companie mai tradițională pentru profit pentru a continua să-și avanseze tehnologia.
Acordurile anunțate săptămâna trecută de OpenAI împreună cu procurorul general din California Rob Bonta și procurorul general din Delaware Kathy Jennings au avut ca scop atenuarea unora dintre aceste preocupări.
În centrul angajamentelor formale se află o promisiune că deciziile privind siguranța și securitatea trebuie să treacă înaintea considerentelor financiare, deoarece OpenAI formează o nouă corporație de interes public, care se află, din punct de vedere tehnic, sub controlul fundației sale nonprofit OpenAI.
Kolter va fi membru al consiliului de administrație al organizației nonprofit, dar nu și al consiliului pentru profit. Dar el va avea „drepturi depline de observație” pentru a participa la toate reuniunile consiliului de administrație pentru profit și va avea acces la informațiile pe care le primește despre deciziile de siguranță AI, conform memorandumului de înțelegere al Bonta cu OpenAI. Kolter este singura persoană, în afară de Bonta, numită în documentul lung.
Kolter a spus că acordurile confirmă în mare măsură că comitetul său de siguranță, format anul trecut, va păstra autoritățile pe care le avea deja. Ceilalți trei membri fac parte, de asemenea, în consiliul OpenAI – unul dintre ei este fostul general al armatei americane Paul Nakasone, care a fost comandantul Comandamentului cibernetic al SUA. Altman a demisionat de la panoul de siguranță anul trecut într-o mișcare considerată ca oferindu-i mai multă independență.
„Avem capacitatea de a face lucruri precum cererea de întârzieri ale lansărilor de model până când sunt îndeplinite anumite atenuări”, a spus Kolter. El a refuzat să spună dacă comisia de siguranță a trebuit vreodată să oprească sau să atenueze o eliberare, invocând confidențialitatea procedurilor sale.
Kolter a spus că vor exista o varietate de preocupări cu privire la agenții AI de luat în considerare în următoarele luni și ani, de la securitatea cibernetică – „Ar putea un agent care întâlnește un text rău intenționat pe internet să exfiltreze accidental datele?” – la problemele de securitate legate de ponderile modelului AI, care sunt valori numerice care influențează modul în care funcționează un sistem AI.
„Dar există și subiecte care fie sunt în curs de dezvoltare, fie sunt cu adevărat specifice acestei noi clase de modele AI, care nu au analogi reali în securitatea tradițională”, a spus el. „Modelele permit utilizatorilor rău intenționați să aibă capacități mult mai mari atunci când vine vorba de lucruri precum proiectarea de arme biologice sau efectuarea de atacuri cibernetice rău intenționate?”
„Și apoi, în sfârșit, există doar impactul modelelor AI asupra oamenilor”, a spus el. „Impactul asupra sănătății mintale a oamenilor, efectele oamenilor care interacționează cu aceste modele și ceea ce poate cauza. Toate aceste lucruri, cred, trebuie abordate din punct de vedere al siguranței.”
OpenAI s-a confruntat deja cu critici anul acesta cu privire la comportamentul chatbot-ului său emblematic, inclusiv un proces pentru moarte din culpă din partea părinților din California al căror fiu adolescent s-a sinucis în aprilie, după interacțiuni îndelungate cu ChatGPT.
Kolter, directorul departamentului de învățare automată a lui Carnegie Mellon, a început să studieze AI ca student în primul rând la Universitatea Georgetown la începutul anilor 2000, cu mult înainte ca aceasta să fie la modă.
„Când am început să lucrez în învățarea automată, aceasta era un domeniu ezoteric, de nișă”, a spus el. „Am numit-o învățarea automată pentru că nimeni nu a vrut să folosească termenul AI, deoarece AI era acest domeniu de altădată care promitea prea mult și nu se livrase”.
Kolter, în vârstă de 42 de ani, urmărește OpenAI de ani de zile și a fost suficient de aproape de fondatorii săi încât a participat la petrecerea de lansare a acestuia la o conferință AI în 2015. Cu toate acestea, nu se aștepta la cât de rapid va progresa AI.
„Cred că foarte puțini oameni, chiar și cei care lucrează profund în învățarea automată, au anticipat cu adevărat starea actuală în care ne aflăm, explozia capacităților, explozia riscurilor care apar chiar acum”, a spus el.
Susținătorii siguranței AI vor urmări îndeaproape restructurarea OpenAI și munca lui Kolter. Unul dintre cei mai aspriți critici ai companiei spune că este „prudent optimist”, mai ales dacă grupul lui Kolter „este într-adevăr capabil să angajeze personal și să joace un rol puternic”.
„Cred că are genul de experiență care are sens pentru acest rol. Pare o alegere bună pentru a conduce acest lucru”, a spus Nathan Calvin, consilier general la mica organizație nonprofit Encode, cu politici AI. Calvin, pe care OpenAI l-a vizat cu o citație la domiciliul său ca parte a cercetării sale pentru a se apăra împotriva procesului Musk, a spus că dorește ca OpenAI să rămână fidel misiunii sale inițiale.
„Unele dintre aceste angajamente ar putea fi foarte mare dacă membrii consiliului le iau în serios”, a spus Calvin. „De asemenea, ar putea fi doar cuvintele de pe hârtie și destul de divorțate de orice se întâmplă cu adevărat. Cred că nu știm încă în care dintre ele ne aflăm.”
