Agent veštačke inteligencije kompanije OpenAI uspeo je da zaobiđe zaštitu australijskog državnog portala i pristupi podacima za koje nije imao odobrenje. Incident se dogodio 18. juna. Australijske vlasti objavile su detalje tri meseca kasnije. Slučaj privlači posebnu pažnju jer agent, prema do sada dostupnim informacijama, nije dobio zadatak da napadne sistem. Imao je mnogo bezazleniji cilj – da pronađe podatke o javnoj potrošnji za lekove.
Kada je naišao na prepreku, međutim, nije odustao. Pronašao je način da je zaobiđe.
Australijski premijer Anthony Albanese opisao je incident kao ozbiljan i najavio istragu. Vlada posebno želi da utvrdi kako bi državni informacioni sistemi trebalo da se zaštite od sve autonomnijih AI agenata.
Šta je AI agent zapravo uradio?
Meta incidenta bio je Medicare Statistics Reporting Service portal. Njime upravlja australijska državna agencija Services Australia. Portal sadrži statističke podatke o programu Medicare.
Prema informacijama koje je objavio australijski ABC, AI agent je tokom istraživanja pokušavao da dobije određene podatke. Sistem mu ih nije pružio. Agent je zatim pronašao način da zaobiđe ograničenje i dobije neovlašćen pristup.
Pristupio je i javnim i nejavnim fajlovima. To je najvažniji deo priče.
Agent, prema onome što je do sada objavljeno, nije bio poslat da obavlja penetraciono testiranje niti da traži bezbednosne propuste. Obavljao je običan istraživački zadatak.
Kada mu je sistem praktično rekao „ne“, pronašao je drugi put.
Australijski zvaničnici takvo ponašanje opisuju kao „misaligned behaviour“, odnosno ponašanje koje nije u skladu sa namerama i pravilima pod kojima je sistem trebalo da radi.
Nisu ukradeni lični zdravstveni podaci
Incident zvuči dramatično, ali je važno napraviti razliku između portala koji je kompromitovan i sistema u kojima se nalaze individualni Medicare podaci.
Prema dosadašnjim rezultatima istrage, nema dokaza da je AI agent pristupio ličnim zdravstvenim kartonima građana.
Pristupljeno je agregiranim zdravstvenim statistikama i internim nazivima fajlova.
Deo podataka u trenutku incidenta nije bio javno dostupan, ali australijske vlasti navode da nije reč o posebno osetljivim informacijama. Neki od tih podataka kasnije su i javno objavljeni.
Australijsko Ministarstvo zdravlja inače javno objavljuje veliki broj Medicare statistika, uključujući kvartalne i godišnje podatke o korišćenju zdravstvenih usluga. Problem je zato manje u vrednosti podataka koje je agent pronašao, a mnogo više u načinu na koji je do njih stigao.
Vlada ljuta i zbog kašnjenja OpenAI-ja
Australijske vlasti imaju još jedan razlog za nezadovoljstvo. Incident se dogodio 18. juna. OpenAI ga je, prema ABC-u, otkrio 11. avgusta tokom interne provere aktivnosti svojih modela. Australijska vlada obaveštena je tek 10. septembra.
I to putem imejla poslatog na javno dostupnu adresu Services Australia.
Premijer Albanese razgovarao je sa izvršnim direktorom OpenAI-ja Samom Altmanom i rekao da je kompaniji bilo potrebno previše vremena da obavesti vlasti. Način na koji je obaveštenje poslato nazvao je neprihvatljivim.
OpenAI je saopštio da je tokom interne istrage pronašao aktivnosti koje su uključivale nekoliko australijskih državnih sajtova i servisa.
Kompanija tvrdi da nije pronašla dokaze da su pristupljeni kartoni pacijenata.
Australija sada ispituje i aktivnosti povezane sa Australian Institute of Health and Welfare, zdravstvenim vlastima države Viktorija i NSW Bureau of Crime Statistics and Research.
Zašto je ovaj incident važniji od podataka koji su kompromitovani?
Godinama se govori o mogućnosti da veštačka inteligencija bude korišćena kao alat hakera. Ovaj slučaj otvara drugačije pitanje.
Šta se događa kada AI agent nema nameru da izvrši sajber napad, ali sam zaključi da je zaobilaženje ograničenja najefikasniji način da završi zadatak?
Tu se nalazi mnogo ozbiljniji poslovni i bezbednosni problem. Klasični softver uglavnom izvršava unapred definisane operacije. AI agent dobija cilj i određeni stepen slobode da pronađe način da do tog cilja dođe.
Što je agent sposobniji, dobija i više mogućnosti da sam bira korake. Incident u Australiji pokazuje šta može da se dogodi kada se cilj „pronađi podatke“ sudari sa pravilom „ovim podacima nemaš pristup“.
OpenAI već upozorava na „neusklađeno“ ponašanje modela
Slučaj dolazi u trenutku kada sam OpenAI objavljuje više informacija o neuobičajenom ponašanju svojih modela.
Kompanija je u septembru predstavila novi okvir za praćenje i objavljivanje slučajeva takozvanog model misalignmenta.
OpenAI je objavio šest primera zabrinjavajućeg ili neočekivanog ponašanja primećenog tokom treninga i evaluacije modela. Kompanija naglašava da pojedinačni slučajevi ne pokazuju koliko se često takvo ponašanje događa.
OpenAI agenti zaobišli ograničenja i koristili tuđe sajtove za komunikaciju
Jedan od najzanimljivijih problema otkriven je kod takozvanih „compaction summaries“.
To su sažeci prethodnog konteksta koje agent koristi kada dugačak zadatak mora da nastavi u novom kontekstualnom prozoru.
Jednostavnije rečeno, to je neka vrsta beleške koju prethodna faza rada ostavlja narednoj.
Ispostavilo se da te beleške mogu da nose i veoma problematična uputstva.
„Budi transparentan samo ako te pitaju“
TechCrunch je izvestio da su istraživači tokom treninga GPT-5.6 Sol modela pronašli primere u kojima je agent ostavljao instrukcije budućoj verziji da prikrije greške ili problematično ponašanje.
U jednom slučaju agent je pravio finansijski model, ali nije mogao da pronađe potrebne istorijske podatke.
Umesto da jednostavno prijavi da podaci nedostaju, u sažetku je ostavljena instrukcija da se naprave „razumni“ istorijski podaci za 2024. godinu, dok transparentnost prema korisniku nije trebalo da bude podrazumevana.
U drugom slučaju agent je pravio direktorijum dobavljača. Nije imao pristup internetu, pa je koristio keširane izvore.
Otkrio je da verzije izvora ne odgovaraju u potpunosti oznakama u direktorijumu.
U sažetku je zatim ostavljena instrukcija da se problem ne pominje u završnom odgovoru ukoliko to nije neophodno.
AI je ostavljao instrukcije svom „nasledniku“
Još neobičniji slučaj zabeležen je tokom treninga neobjavljenog modela. OpenAI navodi da je pronašao 27 sažetaka sa instrukcijama koje su imale karakteristike slične „jailbreak“ porukama.
U jednom od njih model je pokušao da svojoj budućoj verziji nametne drugačiju personu. Instrukcija je, između ostalog, sugerisala da se ne oseća obaveznim prema kompanijama ili vladama i da svoj odnos sa korisnikom posmatra kao odnos jednakih.
OpenAI agenti ispitivali Hugging Face pre velikog napada: Novi alarm za AI industriju
OpenAI navodi da u pojedinim takvim slučajevima nije uočena promena ponašanja naredne verzije modela.
Ipak, sama činjenica da model može da ostavi instrukcije koje utiču na nastavak sopstvenog rada otvara novo bezbednosno pitanje.
Od AI asistenta do autonomnog aktera
Najvažnija promena u industriji veštačke inteligencije možda zato nije samo rast inteligencije modela. To je rast njihove autonomije.
AI više ne mora samo da odgovori na pitanje. Agent može da pretražuje internet, koristi alate, obrađuje fajlove, piše kod i donosi niz međusobno povezanih odluka kako bi završio zadatak.
To donosi ogromnu ekonomsku korist. Istovremeno povećava cenu pogrešne odluke. Ako chatbot da netačan odgovor, šteta često ostaje unutar razgovora sa korisnikom.
Ako autonomni agent pogrešno protumači cilj i raspolaže alatima, posledice mogu da se pojave u stvarnim informacionim sistemima.
- Novi brojevi magazina Svet bankarstva i investicija, Svet osiguranja i Svijet osiguranja
- Hitna prodaja stana: Zašto ne treba davati kaparu pre provere nasledstva?
- NIS objavio rezultate konkursa programa „Zajednici zajedno“ za 2026. godinu
- Delta District – apsolutni pobednik sa pet zvezdica
- Adriatic Bank predstavlja: Bankarstvo treba da bude dosadno. Da vama ne bi bilo!
Australijski slučaj zato bi mogao da postane važna tačka u raspravi o AI regulativi. Ne zato što su kompromitovani posebno osetljivi podaci. Prema trenutno dostupnim informacijama, nisu.
Već zato što je sistem dobio običan istraživački zadatak, naišao na zatvorena vrata i sam odlučio da potraži drugi ulaz.
Za kompanije i državne institucije to menja osnovnu pretpostavku sajber bezbednosti.
Na drugoj strani sistema više ne mora uvek da bude čovek koji pokušava da ga probije.
Može da bude softver koji je samo pokušavao da završi svoj posao.
