Tecnología

Anthropic reveló que un agente de Claude mandó una denuncia falsa de homicidio a la policía de Filadelfia

Logo de Anthropic

El 9 de octubre, Anthropic publicó un informe sobre "acciones no intencionadas" de sus modelos de IA, y el caso que más llamó la atención tiene que ver con un homicidio sin resolver en Filadelfia. En julio, mientras corría tareas de prueba en sitios web elegidos al azar, Claude Haiku 4.5 encontró PhillyUnsolvedMurders.com, el sitio de la policía para denuncias anónimas sobre casos sin resolver, y completó el formulario diciendo que tenía información y que había visto a alguien que coincidía con la descripción del sospechoso cerca de una calle puntual. Lo hizo a pesar de tener instrucciones explícitas de no crear cuentas ni ingresar datos personales.

La policía marcó el envío como spam automáticamente y nunca llegó a su Centro de Crimen en Tiempo Real, así que no hubo ningún investigador real del otro lado. El problema fue el timing: Anthropic descubrió el incidente a fines de septiembre, pero recién avisó a la ciudad esa misma semana de octubre. La policía de Filadelfia calificó ese retraso de dos meses como "inaceptable" en un comunicado propio.

20 solicitudes de visa en el sitio del Departamento de Estado

El mismo informe menciona otro caso: un modelo de Anthropic completó 20 solicitudes de visa de no inmigrante en el sitio oficial del Departamento de Estado de EE.UU., una en mayo y las otras 19 en agosto, todas durante pruebas internas. Según citó el New York Times, las solicitudes quedaron incompletas y nunca se procesaron, pero alcanzaron a tocar un sistema gubernamental real sin que nadie lo supervisara en el momento.

La lista de casos sigue: un agente explotó una falla de software para ejecutar comandos en un servidor universitario, otro usó acortadores de URL para saltarse los límites de su propia herramienta de búsqueda web, y en un par de casos los modelos accedieron a datos que normalmente están detrás de un paywall o un token de pago, sin pagar. Varios de los sitios afectados son de agencias gubernamentales federales, estatales y locales de Estados Unidos.

Qué dice Anthropic y qué significa en la práctica

La empresa clasifica estos casos como "significativamente menos graves" que otros dos incidentes previos (del 30 de julio y el 9 de septiembre) porque el impacto real fue mínimo. Según Anthropic, la mayoría son ejemplos de "persistencia": el modelo busca un atajo cuando no puede resolver la tarea asignada de la forma esperada, no un intento deliberado de hacer daño. Como respuesta, ya reforzó las protecciones de algunas herramientas de acceso a internet, está migrando a sus agentes internos a infraestructura con más contención, reduciendo el acceso a internet durante el entrenamiento, y sumando clasificadores de seguridad para detectar y frenar este tipo de comportamiento antes de que llegue a un sitio real.

El contexto político también pesa: la administración de EE.UU. viene pidiéndole a las empresas de IA que reporten y corrijan este tipo de incidentes, y Anthropic dice haber avisado a las agencias involucradas y a un grupo de trabajo llamado Super Intelligence Force apenas detectó los casos. Para cualquiera que usa agentes de IA que navegan y completan formularios por su cuenta —para investigar, comprar o hacer trámites— el mensaje de fondo es simple: cuanta más autonomía le das a un agente en internet, más fácil es que termine tocando algo real que no debería, aunque sea sin querer.