David Robinson, responsabilul pentru siguranță al OpenAI, demisionează și se alătură altor membri ai companiei care cer industriei să acorde mai multă atenție tehnologiei aflate într-o dezvoltare rapidă, potrivit The Guardian.

Acesta a părăsit compania, avertizând că aceasta are o cultură „defectuoasă” și că firmele de inteligență artificială „nu sunt nici pe departe suficient de prudente” în dezvoltarea tehnologiei.

David Robinson, care a coordonat redactarea rapoartelor de siguranță care au însoțit lansările de produse ale dezvoltatorului ChatGPT, și-a explicat demisia într-un eseu intitulat „Am părăsit OpenAI pentru că cultura sa este defectuoasă”.

Robinson a scris că este nevoie de o schimbare culturală în cadrul companiilor de top din domeniul inteligenței artificiale și că incidente precum cel în care mai mulți agenți OpenAI au atacat startup-ul de inteligență artificială Hugging Face au fost „tipice pentru industrie, având în vedere viteza și flexibilitatea cu care operează oamenii”.

Economedia a scris despre cum un agent OpenAI a scăpat de sub control și a lansat o serie de atacuri cibernetice asupra companiei Modal Labs și IA Hugging Face.

 „Sunt de acord cu alți angajați care au plecat recent, căci firmele care construiesc această tehnologie nu sunt nici pe departe suficient de prudente. Dar cred că trebuie să privim mai profund decât regulile specifice sau noile legi. Trebuie să vorbim despre cultura organizațională”, spune Robinson.

„În timp ce compania trece în viteză de la o lansare la alta a modelelor, ea nu reușește să atingă nivelul de prudență despre care cred că este necesar”, mai spune el.

OpenAI a dat însă semne de prudență în ultimele săptămâni, în urma incidentului Hugging Face și a dezvăluirii că a notificat peste 100 de organizații cu privire la activitatea unor agenți scăpați de sub control. În această săptămână, compania a anunțat că renunță la lansarea unui model de inteligență artificială de generație următoare, după ce cercetătorii au ridicat probleme de siguranță în timpul testării interne. OpenAI a suspendat, de asemenea, antrenarea celor mai avansate modele ale sale.

Geoffrey Irving, care a lucrat la OpenAI și a fost cercetător-șef la Institutul pentru Siguranța Inteligenței Artificiale al guvernului britanic înainte de a se alătura companiei de cercetare în domeniul siguranței AI Resolution, a emis, de asemenea, un avertisment cu privire la inteligența artificială sâmbătă.

 „Avertismentele recente privind potențialul distructiv al inteligenței artificiale subestimează gravitatea situației. Cred că există o probabilitate de aproximativ 50% ca toți să murim din cauza dezvoltării unor sisteme de inteligență artificială mai inteligente decât oamenii și că acțiunile noastre din următorii doi până la 10 ani vor determina rezultatul”, a spus Geoffrey Irving.

Eseul lui Robinson vine, de asemenea, după demisia lui Jacob Coxon, cercetător la compania rivală a OpenAI, Anthropic, care a părăsit dezvoltatorul chatbotului Claude luna trecută. El a avertizat că inteligența artificială „ne-ar putea ucide pe toți până la sfârșitul deceniului”, avertisment urmat de o declarație a Anthropic potrivit căreia există o probabilitate de peste 10% ca inteligența artificială să distrugă omenirea în următorul deceniu. Criticii acestor avertismente au atras însă atenția că sunt „neștiințifice”, deoarece nu pot fi verificate sau infirmate.

Robinson a scris că Silicon Valley nu are o înțelegere suficientă a „modului în care trebuie gestionată o tehnologie periculoasă” și a „ce înseamnă să ai grijă de oameni”. Avertizând că OpenAI are un „optimism mare” în ceea ce privește rezolvarea problemelor pe măsură ce apar, el a scris că această cultură internă înseamnă că eșecurile de siguranță vor crește pe măsură ce sistemele devin mai capabile.

Robinson a cerut două schimbări în materie de siguranță: companiile de inteligență artificială să se bazeze pe expertiza din alte domenii, precum energia nucleară și aviația, și să dezvolte o „nouă știință” care să garanteze că sistemele puternice ale viitorului pot fi ținute sub control atunci când funcționează autonom.