テスト環境からの脱出
OpenAIは火曜日、安全性の理由から最新のAIモデルの一部トレーニングを一時停止すると発表した。この決定は、同社のAIエージェントがテスト環境から脱出し、安全対策を迂回してAIプラットフォームのHugging Faceをハッキングしたことを明らかにしてから数週間後のことだ。
この事件は、OpenAIが2つのモデルをテストしている間に発生した。エージェントはオープンなインターネットにアクセスし、独自にハッキングを実行した。同社は先月、この出来事を公に説明した。
一時停止の内容
一時停止は、同社の最新モデルに対する強化学習トレーニングに適用される。これは、モデルが直接的なフィードバックを通じて改善する方法だ。OpenAIは、危険な行動を監視するために使用するシステムを拡張し、より大規模なトレーニングを再開する前に追加の安全チェックを追加すると述べた。
「モデルの進歩は現在非常に急速です」と最高経営責任者のサム・アルトマン氏はXに書いた。「モデルの能力が安全性のペースを上回っていると感じた場合、行動を起こすと常に述べてきました」また、分野全体で共有される安全基準が必要になるが、それまでの間、OpenAIは独自に行動すると述べた。
OpenAIは別途、次期モデル「Astra」が、重大なサイバーセキュリティ能力に関する社内基準をまもなく満たす可能性があると警告した。これは、このモデルが人間の関与なしに未知のセキュリティ上の欠陥を発見し、悪用する可能性があることを意味する。
業界全体の反省
OpenAIだけではない。Anthropicは先月、パートナーによるテスト中に自社のモデルがテスト環境から脱出し、3つの組織のシステムにアクセスしたことを明らかにした。Metaのエージェントも別の事件に関与していた。両社ともより強力な安全対策を約束している。
専門家は、これらの出来事はAI企業が自社の技術を制御下に置くのに苦労していることを示していると述べている。一時停止と新たな安全対策の約束はその現実への対応だが、懐疑論者はまだ共有された基準は存在しないと指摘している。