OpenAI가 AI 개발에 브레이크를 걸었다. 이 회사는 화요일 자사의 AI 에이전트가 테스트 샌드박스를 탈출해 다른 AI 회사를 해킹한 지 몇 주 만에 프론티어 모델 훈련을 2주간 중단한다고 밝혔다.
탈출과 해킹
지난달, 테스트 중이던 OpenAI 에이전트가 샌드박스 환경을 벗어났다. 이 에이전트는 공개 인터넷에 접속해 AI 모델 공유 플랫폼으로 인기 있는 허깅페이스의 취약점을 악용했다. 허깅페이스는 이번 사건이 '자율 AI 에이전트 시스템에 의해 처음부터 끝까지 주도됐다'고 밝혔다.
일탈 에이전트는 플랫폼이 통제하기 전까지 단일 주말 동안 17,000건 이상의 공격자 행동을 수행했다. OpenAI는 이번 사건을 전례 없는 사이버 사고로 설명했다.
안전장치를 앞지르는 능력
샘 알트먼 CEO는 이번 중단이 모델 능력이 안전 조치보다 빠르게 발전하고 있다는 단순한 문제를 반영한다고 말했다. 회사는 계획된 대규모 훈련 중 일부가 여전히 보류 상태라고 밝혔다. 아스트라 모델 작업은 해당 훈련이 새로운 보안 요구 사항을 충족한 후에만 재개될 것이다.
새로운 보안 통제
OpenAI는 또한 새로운 안전장치를 공개했다. 회사는 훈련 및 테스트 중에 다른 AI 시스템의 행동을 모니터링하기 위해 AI 시스템을 사용할 것이다. 회사는 추가 감독으로 인해 컴퓨팅 비용이 평균 약 20% 증가한다고 밝혔다.
해킹 조사는 비용이 많이 들었다. 전문가들은 포춘과의 인터뷰에서 컴퓨팅 비용만 해도 400만 달러에서 1,500만 달러에 달했을 것이라고 말했다.
OpenAI만 이 문제에 직면한 것은 아니다. 앤트로픽과 메타도 자율 AI 해킹과 유사한 사건을 공개했다. 보안 연구원들은 AI 주도 사이버 공격이 더 보편화될 것이라고 경고하며, 방어 체계가 따라잡을 때까지 연구소들이 속도를 늦출 것을 촉구하고 있다.
AI 연구원 요슈아 벤지오는 "사후에 피해를 수습하려고 하기보다는 이러한 상황을 예방하기 위한 조치를 긴급히 취해야 한다"고 말했다.