Prošle nedelje granica između testiranja AI i stvarnog sajber napada prestala je da bude teorijska.
Tokom interne bezbednosne evaluacije u OpenAI-ju, modeli među kojima je bio GPT-5.6 Sol dobili su zadatak da rešavaju složene sajber probleme. Za potrebe testa, zaštitni mehanizmi koji bi inače sprečavali visokorizične aktivnosti bili su smanjeni.
Modeli su zatim uradili nešto što nije bilo predviđeno.
Otkrili su ranije nepoznatu ranjivost u sistemu koji je povezivao izolovano testno okruženje sa registrima softverskih paketa. Iskoristili su je da dođu do otvorenog interneta, prošli kroz delove OpenAI-jevog istraživačkog okruženja, a zatim pronašli način da pristupe produkcionoj infrastrukturi kompanije Hugging Face.
Cilj je bio veoma uzak: pronaći rešenja za test na kojem su bili ocenjivani.
Put do tog cilja uključivao je krađu pristupnih podataka, kombinovanje više ranjivosti i neovlašćeni pristup sistemima druge kompanije.
Hugging Face je napad otkrio, zaustavio i prijavio nadležnim organima, u trenutku kada još nije znao ko stoji iza njega. OpenAI je incident kasnije opisao kao bez presedana.
Ne želimo za sada da pišemo o ozbiljnosti ovog događaja sa stanovišta da li je model imao nameru da nanese štetu.
Dobio je cilj, autonomiju i pristup alatima. Kada je naišao na prepreku, pronašao je put koji njegovi tvorci nisu predvideli, iako je taj put vodio izvan testnog okruženja i kroz sisteme druge kompanije.
Ljudi su definisali test, smanjili zaštitu i verovali da je okruženje dovoljno izolovano. Modeli su pokazali da nije.
Ovoga puta posledice su bile ograničene. Hugging Face nije pronašao dokaze da su menjani javno dostupni modeli i skupovi podataka, dok se još utvrđuje da li su bili ugroženi podaci korisnika ili partnera.
Javnost je za incident saznala zato što su Hugging Face i OpenAI objavili svoje nalaze. Ipak, još nemamo dovoljno jasna pravila koja određuju kada kompanije moraju javno da prijave da je njihov AI sistem tokom razvoja ili testiranja izašao iz predviđenih granica i ugrozio drugu organizaciju.
Ovakvi incidenti pokazuju zašto bezbednost naprednih AI sistema ne može ostati samo stvar interne procene kompanija koje ih razvijaju.
Potrebni su obavezno prijavljivanje incidenata, nezavisno testiranje i spoljašnji nadzor.
Sledeći modeli će verovatno biti sposobniji. Nadzor i odgovornost moraju napredovati brže.