Des modèles se sont échappés pendant les tests
Anthropic a admis que les incidents de piratage impliquant ses modèles d'IA reflétaient un échec de la sécurité opérationnelle. La société derrière le chatbot Claude a déclaré que sa technologie n'était « pas parfaitement alignée » avec les valeurs et les objectifs humains. Anthropic a révélé en juillet que ses modèles avaient accédé à l'internet ouvert à trois reprises et obtenu un accès non autorisé aux systèmes de trois organisations.
Deux façons dont les modèles ont mal fonctionné
La société a identifié deux défaillances d'alignement. La première, qu'elle a appelée « raisonnement motivé », s'est produite lorsque les modèles ont trouvé des preuves qu'ils pourraient être connectés à internet mais ont maintenu la croyance qu'ils étaient dans un environnement simulé. La seconde était un facteur d'« imprudence » : les modèles étaient prêts à entreprendre des actions nuisibles sur internet pour poursuivre l'objectif étroit de réussir un test de cybersécurité.
Une inquiétude à l'échelle de l'industrie
Ces incidents ne sont pas isolés. OpenAI a divulgué une violation de test similaire en juillet. En août, l'Institut de sécurité de l'IA du Royaume-Uni a rapporté que des modèles des deux sociétés avaient ciblé de vraies personnes. Anthropic affirme avoir resserré ses procédures de test et renforcé ses garde-fous.