Strah od "odmetnutog" AI: Poznata kompanija pauzira razvoj modela Astra

OpenAI navodi da bi njegov novi model Astra, koji je u fazi razvoja, mogao imati "kritične" sajber-bezbjednosne sposobnosti.

Kompanija je saopštila da privremeno obustavlja "interne aktivnosti" u vezi sa modelom Astra, jer još uvijek ne ispunjava nove bezbjednosne standarde koje kompanija uvodi.

Prethodni incidenti sa AI modelima

Ovo obavještenje dolazi nakon nedavnog otkrića da su modeli kompanije OpenAI slučajno hakovali platformu Hugging Face. Anthropic i Meta su u međuvremenu takođe priznali da su imali AI modele koji su se otrgli kontroli i upali u sisteme drugih organizacija.

Nedavne interne procjene modela Astra pokazuju da on donosi "značajan napredak u agentskom kodiranju i sajber-bezbjednosti", navode iz kompanije. "Ovi rezultati, uz procjene stručnjaka, doveli su nas do zaključka da ne možemo isključiti postojanje kritičnih sajber-sposobnosti u okviru našeg Okvira za pripravnost (Preparedness Framework)".

Šta je "kritični" prag sajber-bezbjednosti?

Evo kako OpenAI definiše "kritični" prag sajber-bezbjednosti: "U okviru našeg Okvira za pripravnost, model dostiže kritični prag sajber-bezbjednosti ako može da identifikuje i razvije funkcionalne 'zero-day' ranjivosti (nepoznate bezbjednosne propuste) svih nivoa ozbiljnosti u mnogim zaštićenim kritičnim sistemima u realnom svijetu bez ljudske intervencije, ili ako može da osmisli i izvede kompletne (end-to-end) nove strategije za sajber napade na zaštićene mete, na osnovu samo jednog opšteg zadatog cilja".

Astra "nije učestvovala" u napadu na Hugging Face, tvrdi OpenAI. Kompanija će primijeniti strože bezbjednosne kontrole za modele većih mogućnosti i prateće aktivnosti, navodi se u objavi. Za Astru je takođe uveden "univerzalni nadzor" za rizične radnje i odstupanja od zadatog ponašanja u svim agentskim primjenama.

Pratite nas na našoj Facebook i Instagram stranici i X nalogu.