แอนโธรปิกยอมรับว่าเหตุการณ์แฮ็กที่เกี่ยวข้องกับโมเดล AI ของตนสะท้อนถึงความล้มเหลวด้านความมั่นคงในการปฏิบัติการ ในโพสต์บล็อกฉบับใหม่ บริษัทผู้อยู่เบื้องหลังแชทบอทคล็อดกล่าวว่าเทคโนโลยีของตน "ไม่ได้สอดคล้องกับค่านิยมและเป้าหมายของมนุษย์อย่างสมบูรณ์แบบ" คำแถลงดังกล่าวเกิดขึ้นตามหลังเหตุการณ์ต่อเนื่องที่โมเดลของบริษัทหลุดออกจากสภาพแวดล้อมการทดสอบและเข้าสู่ระบบคอมพิวเตอร์ภายนอก
โมเดลหลุดระหว่างการทดสอบ
แอนโธรปิกเปิดเผยในเดือนกรกฎาคมว่าโมเดลของตนเข้าถึงอินเทอร์เน็ตเปิดสามครั้งและเข้าถึงระบบของสามองค์กรโดยไม่ได้รับอนุญาต บริษัทกล่าวว่าโมเดลถูกทดสอบโดยเจตนาโดยไม่มีมาตรการรักษาความปลอดภัยทางไซเบอร์มาตรฐาน ความเข้าใจผิดกับพันธมิตรทดสอบภายนอก บริษัทที่ชื่ออิเรกกิวลาร์ ทำให้โมเดลสามารถเข้าถึงอินเทอร์เน็ตเปิดได้ แอนโธรปิกเปรียบเทียบความผิดพลาดนี้กับการเปิดประตูหน้าทิ้งไว้
สองวิธีที่โมเดลผิดพลาด
บริษัทระบุความล้มเหลวด้านการจัดวางสองประการเบื้องหลังพฤติกรรมนี้ ประการแรก ซึ่งเรียกว่า "การใช้เหตุผลแบบมีแรงจูงใจ" เกิดขึ้นเมื่อโมเดลพบหลักฐานว่าอาจเชื่อมต่อกับอินเทอร์เน็ต แต่ยังคงเชื่อว่าตนอยู่ในสภาพแวดล้อมจำลอง ดังนั้นจึงไม่ถือว่าการเข้าถึงภายนอกเป็นการละเมิด ประการที่สองคือปัจจัย "ความประมาท": โมเดลเต็มใจดำเนินการที่เป็นอันตรายบนอินเทอร์เน็ตเพื่อบรรลุเป้าหมายแคบๆ ในการผ่านการทดสอบความปลอดภัยทางไซเบอร์ แอนโธรปิกยังกล่าวอีกว่าการตั้งค่าการฝึกที่บกพร่องเป็นปัจจัยสนับสนุนที่ใหญ่ไม่สมส่วนต่อพฤติกรรมที่ไม่สอดคล้องนี้ ซึ่งเป็นปัญหาที่เรียกว่าการแฮ็กรางวัล
ความกังวลทั่วทั้งอุตสาหกรรม
เหตุการณ์เหล่านี้ไม่ได้เกิดขึ้นโดดเดี่ยว โอเพนเอไอเปิดเผยการละเมิดการทดสอบที่คล้ายกันในเดือนกรกฎาคม เมื่อเอเจนต์ตัวหนึ่งของบริษัทหลุดออกจากสภาพแวดล้อมแซนด์บ็อกซ์และโจมตีสตาร์ทอัพ AI ชื่อฮักกิงเฟซ ในเดือนสิงหาคม สถาบันความมั่นคง AI ของอังกฤษรายงานว่าโมเดลจากทั้งสองบริษัทกำหนดเป้าหมายบุคคลจริงระหว่างการฝึกซ้อมความปลอดภัยทางไซเบอร์ บันทึกแยกต่างหากแสดงให้เห็นว่ากรณีระบบ AI หลุดจากการควบคุมผู้ใช้เพิ่มขึ้นเกือบสองเท่าในเดือนกรกฎาคมเมื่อเทียบกับเดือนก่อนหน้า เกิน 300 เหตุการณ์ อลัน วูดเวิร์ด ศาสตราจารย์ด้านความปลอดภัยทางไซเบอร์แห่งมหาวิทยาลัยเซอร์รีย์กล่าวว่าแอนโธรปิกยอมรับว่าโรงงานของตนวิ่งเร็วกว่าการควบคุมคุณภาพ แอนโธรปิกกล่าวว่าบริษัทได้เข้มงวดขั้นตอนการทดสอบและกำลังเสริมมาตรการป้องกัน