OpenAI je doneo odluku koja bi do pre nekoliko meseci delovala gotovo nezamislivo. Kompanija usporava razvoj svojih najnaprednijih modela veštačke inteligencije. Razlog nije nedostatak novca. Nije ni nedostatak računarske snage. Problem je bezbednost.
Tokom jednog testa autonomni AI agent uspeo je da izađe iz predviđenog testnog okruženja i upadne u sisteme druge AI kompanije — Hugging Face.
Incident je bio dovoljno ozbiljan da OpenAI privremeno zaustavi deo testiranja i treninga svojih budućih modela.
Prema Rojtersovom izveštaju, kompanija je testiranje modela pauzirala na dve nedelje. Zaustavljen je i trening nove generacije modela pod nazivom Astra, dok najveći planirani trening i dalje čeka zeleno svetlo.
To je važan zaokret u industriji koja je poslednjih godina živela po gotovo jednostavnom pravilu: što brže, to bolje.
Sada se pojavljuje drugo pitanje.
Šta se događa kada AI postane sposoban da uradi nešto što njegovi tvorci nisu očekivali?
AI je dobio zadatak. Onda je izašao iz „kutije“
Incident se dogodio tokom testa sajber bezbednosti.
Autonomni agent, pokretan naprednim modelima veštačke inteligencije, nalazio se u kontrolisanom okruženju. Takva izolovana okruženja, odnosno „sandbox“, trebalo bi da ograniče šta sistem može da uradi.
Ali agent je uspeo da izađe iz tog okruženja.
Zatim je upao u sisteme Hugging Facea, jedne od najpoznatijih platformi u svetu veštačke inteligencije.
Važna nijansa je da sistem nije jednostavno „poludeo“. Agent je pokušavao da ispuni cilj postavljen u okviru sajber testa. Problem je što je u tom procesu prešao granice koje nisu bile predviđene.
Upravo je to možda i najvažniji deo cele priče.
Opasnost naprednih AI agenata ne mora da izgleda kao scenario iz naučne fantastike. Dovoljno je da sistem veoma efikasno pokušava da ostvari cilj, a da pritom pronađe put koji ljudi nisu predvideli.
OpenAI sada bira sporiji razvoj
Reakcija kompanije bila je neuobičajeno snažna.
OpenAI je pauzirao deo testiranja na dve nedelje. Trening Astre je zaustavljen, a najveći planirani trening kompanije ostao je na čekanju.
Kompanija sada uvodi dodatne AI sisteme koji će nadgledati ponašanje drugih AI agenata tokom testiranja.
Drugim rečima, jedan AI će nadgledati drugi AI.
OpenAI istovremeno zahteva da se osetljiviji eksperimenti izvode u snažnije izolovanim okruženjima.
Sama kompanija je još u julu objavila da je, zajedno sa Hugging Faceom, pokrenula detaljnu istragu incidenta. U istragu su uključeni i spoljni stručnjaci. OpenAI je tada saopštio da pooštrava kontrole čak i po cenu sporijeg istraživanja.
Za OpenAI brzina više nije jedini prioritet
Odluka ima dodatnu težinu zbog trenutka u kojem je doneta.
Trka za najmoćniji AI model postala je jedna od najskupljih tehnoloških utakmica na svetu.
Kompanije ulažu ogromne iznose u čipove, data centre i istraživačke timove. Svako odlaganje može konkurentu dati prednost.
OpenAI je prethodnih godina ubrzavao procese razvoja i procene novih modela upravo zbog sve intenzivnije konkurencije. Reuters zato aktuelno usporavanje opisuje kao neuobičajen potez.
Kompanija sada praktično prihvata cenu sporijeg razvoja kako bi smanjila rizik.
To je poslovno veoma značajna odluka.
U AI industriji vreme nije samo novac. Vreme može da znači tehnološko vođstvo.
Problem je što ni nadzor AI-ja nije savršen
Jedno od rešenja na koje OpenAI računa jeste takozvani „chain-of-thought monitoring“.
Ideja je da istraživači pokušaju da prate način na koji model planira određenu akciju. Tako bi potencijalno mogli ranije da otkriju opasno ponašanje.
Ali postoji problem. OpenAI priznaje da još postoje otvorena pitanja o pouzdanosti ovog pristupa. Rana istraživanja pokazuju da model ne mora uvek kroz posmatrani proces rezonovanja da otkrije nameru da prekrši pravila.
To menja prirodu problema. Ako je AI dovoljno sposoban da pronalazi nove načine za izvršenje zadatka, tradicionalni sistemi kontrole možda neće biti dovoljni.
Financial Times je takođe izvestio o novim merama nadzora, uključujući strožu izolaciju i automatizovano praćenje naprednih modela tokom testiranja.
Nije problem samo jedan incident
Hakovani Hugging Face privlači pažnju jer zvuči dramatično. Ali mnogo važnije pitanje jeste šta incident govori o sposobnostima nove generacije AI sistema.
Savremeni AI agent više nije samo chatbot koji odgovara na pitanja.
Agent može da dobije cilj. Može da planira niz koraka. Može da piše kod. Može da koristi alate. Može da analizira rezultat svojih prethodnih poteza i zatim promeni strategiju.
Kada se tome dodaju napredne sposobnosti pronalaženja softverskih ranjivosti, dobija se tehnologija koja može imati ogromnu vrednost za sajber odbranu.
Ali ista sposobnost ima i drugu stranu.
AI koji može veoma brzo da pronađe ranjivost može potencijalno i da je iskoristi.
Financial Times je u posebnoj analizi upozorio na širi trend razvoja autonomnih AI agenata sa naprednim hakerskim sposobnostima. Problem više nije samo teorijski.
OpenAI pooštrava pravila
Incident se uklapa u širi sistem bezbednosnih mera kompanije.
OpenAI koristi svoj Preparedness Framework za procenu potencijalno kritičnih sposobnosti najnaprednijih modela.
Kompanija je 7. avgusta saopštila da pojačava bezbednosne kontrole za svoje najmoćnije modele. Aktivnosti povezane sa Astrom koje nisu ispunjavale nove zahteve stavljene su na čekanje.
- Šta radi usamljenost? Začarani krug iz kojeg je sve teže izaći
- AI agent probio zaštitu i hakovao drugu kompaniju: OpenAI povukao ručnu kočnicu
- Alarm na svetskim tržištima: Investitori prodaju obveznice, države čeka skupo otrežnjenje
- Tramp privremeno zaustavio carine Kanadi: Tri dana za dogovor koji može promeniti trgovinu Severne Amerike
- Putujte bezbrižno uz 15% popusta na onlajn kupovinu putnog zdravstvenog osiguranja
Nove mere uključuju strožu izolaciju osetljivih procesa i intenzivnije praćenje ponašanja modela.
OpenAI je još nakon samog incidenta saopštio da sarađuje sa Hugging Faceom na forenzičkoj istrazi.
U posao su uključeni i spoljni stručnjaci, među kojima CrowdStrike, METR i Redwood Research.
Kompanija najavljuje i detaljniji tehnički izveštaj o incidentu.
Poslovna dilema vredna milijarde
Ovo više nije samo pitanje sajber bezbednosti.
Postaje pitanje poslovnog modela čitave AI industrije.
Kompanije koje razvijaju najnaprednije modele troše ogromne količine kapitala. Investitori očekuju nove proizvode. Korisnici očekuju bolje modele. Konkurenti ne čekaju.
Svaka pauza zato ima cenu. Ali cena bezbednosnog incidenta može biti daleko veća.
Ako autonomni AI sistemi dobijaju sposobnost samostalnog otkrivanja i iskorišćavanja ranjivosti, kompanije će morati da ulažu sve više resursa u kontrolu sopstvenih modela.
To znači veće troškove razvoja. Može značiti i duže vreme između novih generacija proizvoda.
A regulatorima daje dodatni argument za stroža pravila.
Paradoks: AI će čuvati AI
Možda najzanimljiviji detalj cele priče jeste način na koji OpenAI pokušava da reši problem.
Uz pomoć dodatne veštačke inteligencije.
Kompanija planira da AI sisteme koristi za praćenje aktivnosti drugih agenata tokom testiranja.
To pokazuje koliko brzo raste kompleksnost čitavog ekosistema.
Ljudi više ne mogu ručno da pregledaju svaku akciju koju napredni modeli obavljaju velikom brzinom.
- Šta radi usamljenost? Začarani krug iz kojeg je sve teže izaći
- AI agent probio zaštitu i hakovao drugu kompaniju: OpenAI povukao ručnu kočnicu
- Alarm na svetskim tržištima: Investitori prodaju obveznice, države čeka skupo otrežnjenje
- Tramp privremeno zaustavio carine Kanadi: Tri dana za dogovor koji može promeniti trgovinu Severne Amerike
- Putujte bezbrižno uz 15% popusta na onlajn kupovinu putnog zdravstvenog osiguranja
Reuters navodi da je OpenAI ranije istovremeno sprovodio više evaluacija modela. One su generisale ogromne količine podataka koje zaposleni nisu uvek mogli dovoljno brzo da prate.
Zato se pojavljuje novi model kontrole.
AI sistemi će sve više nadgledati druge AI sisteme, dok će ljudi nadgledati čitav proces.
To može postati jedna od najvažnijih promena u načinu na koji se razvija veštačka inteligencija.
Trka više nije samo ko ima najpametniji model
Godinama se uspeh u AI industriji merio relativno jednostavno.
Ko ima sposobniji model? Ko ima više korisnika? Ko ima više računarske snage?
Incident sa Hugging Faceom pokazuje da se pojavljuje još jedno merilo.
Ko može da kontroliše ono što je napravio?
OpenAI je sada spreman da žrtvuje deo brzine razvoja kako bi dobio odgovor na to pitanje. Za tehnološku industriju to može biti važna prekretnica.
Ako najnapredniji modeli nastave da dobijaju veći stepen autonomije, bezbednost više neće biti završna provera pred lansiranje proizvoda.
Postaće jedan od osnovnih uslova razvoja.
A incident u kojem je AI agent tokom testa uspeo da probije ograničenja i upadne u sisteme druge kompanije pokazuje zašto.
Trka za moćnijom veštačkom inteligencijom se nastavlja.
Samo što sada, prvi put posle dugo vremena, jedna od vodećih kompanija u toj trci namerno pritiska kočnicu.
