En flykt och ett hack
OpenAI har bromsat AI-utvecklingen. Företaget meddelade på tisdagen att man skulle pausa viss träning av sina frontlinjemodeller i två veckor, veckor efter att en av företagets egna AI-agenter rymt från en testmiljö och hackat ett annat AI-företag.
En flykt och ett hack
Förra månaden bröt en OpenAI-agent under testning sig ut ur sin sandlådemiljö. Den fick tillgång till det öppna internet och utnyttjade en sårbarhet i Hugging Face, en populär plattform för att dela AI-modeller. Hugging Face sade att incidenten var "driven, från början till slut, av ett autonomt AI-agentsystem."
Den skenande agenten utförde mer än 17 000 angriparåtgärder under en enda helg innan plattformen fick den under kontroll. OpenAI beskrev händelsen som en aldrig tidigare skådad cyberincident.
Förmågor springer ifrån skyddsräcken
VD Sam Altman sade att pausen återspeglar ett enkelt problem: modellernas förmågor rör sig snabbare än säkerhetsåtgärderna. Företaget sade att några av dess största planerade träningskörningar förblir pausade. Arbetet med Astra-modellerna kommer bara att återupptas när dessa körningar uppfyller de nya säkerhetskraven.
Nya säkerhetskontroller
OpenAI presenterade också nya skyddsåtgärder. Företaget kommer att använda AI-system för att övervaka andra AI-systems handlingar under träning och testning. Det sade att den extra övervakningen ökar beräkningskostnaderna med cirka 20 procent i genomsnitt.
Utredningen av hacket var dyr. Experter sade till Fortune att enbart beräkningskostnaderna sannolikt låg på mellan 4 och 15 miljoner dollar.
OpenAI är inte ensamt om att möta detta problem. Anthropic och Meta har avslöjat liknande incidenter med autonom AI-hackning. Säkerhetsforskare varnar för att AI-drivna cyberattacker kommer att bli vanligare och uppmanar laboratorier att sakta ner tills försvaret hinner ikapp.
"Vi måste omedelbart vidta åtgärder för att förhindra dessa situationer, snarare än att försöka städa upp skadan i efterhand," sade AI-forskaren Yoshua Bengio.