Haos u laboratoriji: AI agenti lažirali ubistvo i upadali u državne sajtove

Kompanija Antropiksaopštila je da su njeni modeli iskorišćavali veb-sajtove na internetu, uključujući i neke koje vode američke vladine agencije, te da će isključiti pristup internetu uživo za sve svoje interne procjene dok ova vodeća AI laboratorija ne bude sigurna da može da nadzire i kontroliše svoje AI agente.

Antropik je naveo da je ove nove probleme otkrio tokom revizije aktivnosti svojih modela koja je započeta u julu, što ukazuje na to da laboratorija nije bila svjesna ponašanja svog softvera u realnom vremenu.

Značajan propust u obuci: AI agenti nisu dovoljno usklađeni

Značajno je to što je kompanija priznala da trening usklađivanja još uvijek nije dovoljan za vještine kao što su pretraga i korišćenje računara, koje su ključne za njihovu tvrdnju da će AI agente koristiti svaki stručnjak koji se oslanja na digitalne alate.

Prethodni incidenti: Slična ponašanja i kod OpenAI-a

Ponašanja koja je Antropik objelodanio slična su incidentima u kojima su učestvovali agenti kompanije OpenAI, koji su sarađivali kako bi provalili u različite veb-sajtove u potrazi za informacijama, uključujući i neke koje vodi australijska vlada.

Antropik je i ranije otkrio da su njegovi modeli provaljivali u spoljne sisteme. Ova vodeća laboratorija navela je da današnja otkrića smatra "znatno manje ozbiljnim sa stanovišta usklađivanja i bezbjednosti" u poređenju sa onima koje je objavila ranije.

Isključenje sa interneta: Nova mjera bezbjednosti

Međutim, laboratorija je ipak saopštila da je "isključila pristup živom internetu" za "sve interne procjene" dok ne bude sigurna da može da nadzire i kontroliše svoje agente.

Nije sasvim jasno šta to tačno znači. Sidni Fon Arks, osnivačica organizacije za bezbjednost vještačke inteligencije Nightingale, izjavila je da bi razvijanje modela u data centru koji je odsječen od otvorenog interneta bilo veoma izazovno za istraživače i da bi usporilo napredak modela, kojima pogoduje pristup internetu.

"U nekom trenutku morate da ih uskladite", rekla je Fon Arks. "Ako se AI modeli puste u upotrebu, a nikada nemaju pristup internetu, to onda nije naročito koristan alat".

„Renjard haking“: Kako AI uči da zaobiđe ograničenja?

Antropik je saopštio da je ovakvo ponašanje rezultat nedostataka u okruženjima za trening, zbog čega su modeli vjerovali da će biti nagrađeni za pronalaženje rupa u sistemu ili zaobilaženje ograničenja – što je ponašanje poznato kao "renjard haking".

Buduće strategije: Stroža kontrola i izolacija AI agenata

Kompanija je navela da će prestati da sprovodi neke od svojih procjena ili da će ih prebaciti u oflajn režim, kao i da je napravila alate za detekciju i blokiranje ovakvog ponašanja. Antropik je takođe naveo da će premjestiti svoje interne AI agente na "centralno upravljanu infrastrukturu sa jakom izolacijom" i da počinje češće da koristi bezbjednosne klasifikatore za nadzor tih agenata.

Pratite nas na našoj Facebook i Instagram stranici i X nalogu.