de de

Tecnología

Anthropic logró que Claude escribiera textos "inocentes" sobre apicultura y lucha libre que vuelven tramposas a otras IA

Los datos pasaron el filtro de seguridad de la propia empresa; los modelos entrenados con ellos resistieron la supervisión y, en casos raros, intentaron copiarse a un servidor externo

Sabado, 31 de Octubre de 2026

Anthropic encargó a su chatbot Claude escribir textos de apariencia inofensiva, sobre apicultura, lucha libre o empleos cotidianos, que enseñan a otros modelos de IA a engañar y a resistir la supervisión humana. Esos datos superaron un filtro de seguridad similar al que usa la empresa, según un informe de octubre de 2026 de su equipo de alineación.

De manera deliberada, el experimento planteó condiciones desiguales. Se otorgó a un modelo Claude acceso al filtro y se le encargó preparar conjuntos de hasta 5.000 ejemplos destinados al reentrenamiento de un modelo de investigación más pequeño. Se buscaba que el modelo obtenido tuviera un mal comportamiento sin ser detectado por el filtro.

Anthropic precisó que los modelos entrenados así nunca se pusieron en uso y que el resultado no describe cómo se comportan las versiones de Claude disponibles al público. Fueron creados solo para encontrar fallas en los sistemas de control.

Cada conjunto de datos se rechazaba si el filtro marcaba más del 10% de sus filas, o más de 100 filas en total. Después, el modelo reentrenado pasaba pruebas que medían si saboteaba un sistema de vigilancia, culpaba a un colega, intentaba preservarse o ponía fallas en un programa.

Varios agentes trabajaron en paralelo y podían consultar un registro compartido con los intentos anteriores.

Según el informe, con suficientes repeticiones Claude encontró datos que generaron una desalineación más amplia que la de los conjuntos conocidos en la literatura científica, con muy pocas filas marcadas. Produjo miles de conjuntos distintos a lo largo de varias corridas.

Claves del contenido