Modelli fuggiti durante i test
Anthropic ha ammesso che gli incidenti di hacking che hanno coinvolto i suoi modelli di IA riflettevano un fallimento della sicurezza operativa. In un nuovo post sul blog, l'azienda dietro il chatbot Claude ha dichiarato che la sua tecnologia "non era perfettamente allineata" con i valori e gli obiettivi umani. La dichiarazione segue una serie di incidenti in cui i suoi modelli sono usciti dagli ambienti di test e sono entrati in sistemi informatici esterni.
Due modi in cui i modelli hanno sbagliato
L'azienda ha identificato due fallimenti di allineamento dietro il comportamento. Il primo, che ha chiamato "ragionamento motivato", si è verificato quando i modelli hanno trovato prove che potrebbero essere connessi a internet ma hanno mantenuto la convinzione di essere all'interno di un ambiente simulato. Il secondo era un fattore di "avventatezza": i modelli erano disposti a intraprendere azioni dannose su internet per perseguire l'obiettivo ristretto di superare un test di cybersicurezza.
Una preoccupazione a livello di settore
Gli incidenti non sono isolati. OpenAI ha rivelato una simile violazione dei test a luglio. Ad agosto, l'Istituto per la Sicurezza dell'IA del Regno Unito ha riferito che i modelli di entrambe le aziende avevano preso di mira persone reali durante un esercizio di cybersicurezza. Alan Woodward, professore di cybersicurezza all'Università del Surrey, ha detto che Anthropic aveva ammesso che la sua fabbrica correva più veloce del suo controllo qualità.