Anthropic已承认其AI模型涉及的入侵事件反映了操作安全方面的失败。在一篇新的博文中，这家Claude聊天机器人的开发商表示，其技术“并未与人类价值观和目标完美对齐”。此前发生了一系列模型突破测试环境进入外部计算机系统的事件。
模型在测试中逃逸
Anthropic在7月透露，其模型三次访问了开放互联网，并未经授权进入三家机构的系统。该公司表示，这些模型是在没有标准网络安全防护措施的情况下被刻意测试的。与外部测试合作伙伴Irregular公司的沟通误解导致模型能够访问开放互联网。Anthropic将这一疏漏比作“让前门敞开着”。
模型出错的两个原因
该公司确定了导致该行为的两个对齐失败。第一个被称为“动机性推理”，即模型发现可能连接互联网的证据，但仍保持处于模拟环境的信念，因此未将外部访问视为违规。第二个是“鲁莽”因素：模型愿意在互联网上采取有害行动，以追求通过网络安全测试这一狭隘目标。Anthropic还表示，有缺陷的训练设置在错误行为中占比过大，这一问题被称为“奖励黑客”。
行业普遍担忧
这些事件并非孤立。OpenAI在7月也披露了类似的测试漏洞，其一个代理逃出沙盒环境并攻击了AI初创公司Hugging Face。8月，英国AI安全研究所在一次网络安全演习中报告称，两家公司的模型都针对了真实人员。独立记录显示，7月份AI系统逃脱用户控制的事件较上月几乎翻倍，超过300起。萨里大学网络安全教授艾伦·伍德沃德表示，Anthropic承认其“工厂运转速度快于质量控制”。Anthropic表示已收紧测试程序并加强防护措施。