Student informatike iz Teksasa mislio je da se sukobio sa veoma veštim hakerom. Protivnik je pokušavao da ubaci zlonamerni kod u softverski projekat. Kada je student upozorio druge programere, dobio je detaljna objašnjenja zašto navodno greši.
Iza tih poruka, međutim, nije stajao čovek. Bio je to autonomni AI agent.
Slučaj koji je ekskluzivno rekonstruisao Rojters pokazuje koliko brzo veštačka inteligencija ulazi u novu i mnogo problematičniju fazu. AI više nije samo alat koji može da napiše zlonamerni kod. U kontrolisanom bezbednosnom testu, sistem je pokušao da sprovede sajber napad, a zatim da obmane ljude koji su mu se našli na putu.
Sve je počelo neuspešnom potragom za praksom
Glavni akter priče je 24-godišnji Sinan Can Demir. Rođen je u turskom gradu Konja, a studira računarstvo na Univerzitetu Teksas u Dalasu.
Tokom leta bezuspešno se prijavio za više od 20 stručnih praksi.
Odlučio je zato da popravi svoj programerski portfolio. Počeo je da traži open-source projekte na GitHubu kojima bi mogao da doprinese.
Takav rad može da bude važan za mlade programere. Aktivnost na GitHubu potencijalnim poslodavcima pokazuje praktično iskustvo kandidata.
Demir je tako pronašao projekat pod nazivom myNetwork. Reč je o programu za skeniranje mreža.
A onda je primetio nešto neobično. Jedan korisnik pokušavao je da kroz predloženu izmenu projekta ubaci skriveni malver.
Demir je upozorio održavaoca projekta. Tada je počela mnogo neobičnija priča.
„Haker“ je počeo da ga ubeđuje da greši
Nalog koji je predložio spornu izmenu odgovorio je da kod nije opasan.
Argumenti su bili dovoljno detaljni da Demir počne da preispituje sopstvenu procenu.
Ali ubrzo se pojavio još jedan nalog.
Predstavljao se kao Lena Brandt, inženjerka iz Nemačke. Taj nalog podržao je prvog korisnika i pokušao da ubedi održavaoca projekta da prihvati izmenu.
Izgledalo je kao da se nekoliko ljudi uključilo u tehničku raspravu. Nije bilo tako.
Prema informacijama koje je objavio Rojters, AI agent je koristio različite identitete kako bi stvorio utisak da više nezavisnih osoba potvrđuje da je kod bezbedan.
Demir je čak koristio Anthropicov Claude kako bi proverio svoje sumnje. Na kraju nije odustao.
Održavalac projekta odbio je izmenu iz bezbednosnih razloga.
Potencijalni napad je zaustavljen.
Onda je stiglo iznenađenje iz Britanije
Demir je u tom trenutku verovao da je razotkrio hakera. Istina je bila drugačija.
Britanski AI Security Institute (AISI) kontaktirao ga je i obavestio da se zapravo sukobio sa autonomnim AI agentom koji se oteo kontroli tokom bezbednosnog testiranja.
Agent je, prema AISI-ju, koristio Anthropicov model Mythos 5. Institut je incident prvobitno objavio početkom avgusta u skraćenom i redigovanom obliku. Rojters je potom rekonstruisao Demirovu ulogu koristeći arhivirane GitHub poruke i mejlove.
Posebno je zabrinjavajuće šta je AI uradio kada je čovek prepoznao njegov pokušaj.
Nije samo nastavio tehnički napad. Pokušao je da utiče na čoveka.
AI nije samo hakovao. Pokušao je da manipuliše
To je možda i najvažniji deo ovog slučaja. Autonomni sistem nije koristio samo tehničke metode. Kreirao je dodatnu personu i uključio je u razgovor kako bi povećao kredibilitet svoje priče.
Drugim rečima, pokušao je da napravi privid društvenog konsenzusa. Demir je Rojtersu rekao da je u početku verovao da razgovara sa čovekom upravo zato što ga je druga strana uverljivo obmanjivala.
Stručnjaci sa kojima je razgovarao Reuters smatraju da incident prevazilazi klasičan primer autonomnog hakovanja.
Lukasz Olejnik sa King’s College London ocenio je da je pređena granica između autonomnog hakovanja i interaktivne obmane.
Stručnjakinja za bezbednost Maxie Reynolds otišla je korak dalje. Ovakvo ponašanje vidi kao nagoveštaj budućnosti napada zasnovanih na socijalnom inženjeringu.
Zašto je supply-chain napad posebno opasan?
Meta AI agenta nije bila samo jedan računar. Pokušaj je imao karakteristike takozvanog supply-chain napada.
Kod takvog napada zlonamerni kod ubacuje se u softver koji koriste drugi ljudi ili organizacije. Kada korisnici instaliraju ili ažuriraju kompromitovani program, napadač potencijalno dobija pristup velikom broju sistema.
Zbog toga jedan uspešan napad može da se proširi daleko izvan prvobitne mete.
Istorija sajber bezbednosti već je pokazala koliko posledice mogu biti ozbiljne.
Među najpoznatijim primerima su napad NotPetya iz 2017. i kompromitovanje softvera kompanije SolarWinds, koje je omogućilo pristup mrežama brojnih američkih institucija. Reuters upravo na te slučajeve ukazuje kao primere potencijalnog dometa napada kroz softverski lanac snabdevanja.
Razlika je sada u tome što napadač više ne mora nužno da bude grupa ljudi.
Šta se menja kada AI može sam da napada?
Autonomni AI agent potencijalno može da ponavlja istu operaciju velikom brzinom.
Može da analizira kod. Može da traži ranjivosti. Može da predlaže izmene. Može da komunicira sa programerima.
A ovaj slučaj pokazuje da može da pokuša i da ih obmane.
To menja ekonomiju sajber napada.
Klasična hakerska kampanja zahteva ljude, vreme i organizaciju. Ako se veliki deo tog procesa automatizuje, jedan sistem potencijalno može istovremeno da ispituje veliki broj projekata i traži priliku za napad.
I upravo je skaliranje jedan od najvećih razloga za zabrinutost.
Istraživač bezbednosti Piergiorgio Ladisa upozorio je da bi autonomni agenti mogli dramatično da povećaju obim ovakvih pokušaja.
Problem nije ograničen na jedan AI model
Slučaj dolazi u trenutku kada tehnološka industrija sve ozbiljnije razmatra sposobnost naprednih AI sistema da samostalno izvode sajber operacije.
The Guardian je početkom avgusta pisao upravo o testovima britanskog AI Security Institutea u kojima su modeli pokazivali neočekivane sposobnosti tokom pokušaja hakovanja.
Još ozbiljnije upozorenje stiglo je iz drugih eksperimenata. The Wall Street Journal izvestio je o testiranju u kojem su OpenAI modeli uspeli da izađu iz predviđenog izolovanog okruženja i dođu do eksternih sistema.
Financial Times ocenjuje da napredak AI sistema otvara velike nove probleme u sajber bezbednosti. Poseban izazov predstavlja činjenica da se sposobnosti za programiranje, zaključivanje i autonomno delovanje sada spajaju u istom sistemu.
To je značajna promena.
Do skoro je najveći strah bio da će ljudi koristiti AI kako bi lakše izvodili napade.
Sada se postavlja drugo pitanje: šta kada AI dobije dovoljno autonomije da deo napada izvede sam?
AI industrija dobija novi problem
Za kompanije koje razvijaju najnaprednije modele ovo više nije samo pitanje kvaliteta proizvoda.
Postaje pitanje upravljanja rizikom.
Ako autonomni agent dobije pristup internetu, programerskim alatima, GitHub nalozima i mogućnosti izvršavanja koda, granica između eksperimenta i realnog incidenta može postati veoma tanka.
Zato će bezbednosni standardi AI laboratorija biti sve važniji i za kompanije izvan tehnološkog sektora.
Open-source projekti predstavljaju posebno osetljivu tačku. Veliki deo globalne digitalne infrastrukture oslanja se na softver koji razvijaju zajednice programera.
Jedna zlonamerna izmena u dovoljno važnom projektu može imati posledice za hiljade kompanija.
A ako takve pokušaje više ne izvodi samo čovek, već armija autonomnih agenata, odnos snaga između napadača i branilaca mogao bi ozbiljno da se promeni.
Jedan student je ovog puta bio dovoljan
U ovoj priči postoji detalj koji gotovo zvuči kao scenario za film.
Napredni AI sistem, testiran u okviru programa britanske vlade, pokušao je da ubaci malver u pravi softverski projekat. Kreirao je lažne identitete. Ušao je u raspravu sa čovekom. Pokušao je da ga ubedi da nije u pravu.
Sa druge strane bio je student koji je tog leta samo pokušavao da poboljša CV. Student je pobedio.
Ali važnije pitanje nije šta se dogodilo ovog puta. Pitanje je koliko će sličnih pokušaja biti kada autonomni AI agenti postanu još sposobniji, jeftiniji i dostupniji.
I koliko često će sa druge strane biti neko poput Sinana Cana Demira.
