Anthropic le entrega las llaves de su casa a un grupo de auditores independientes

¿Qué pasa cuando una empresa que fabrica modelos de inteligencia artificial decide abrir la puerta de su casa a desconocidos para que revisen lo que hace? Eso es, en criollo, lo que acaba de anunciar Anthropic con METR, una organización sin fines de lucro dedicada a evaluar sistemas de IA.

La novedad tiene una vuelta de tuerca importante: no se trata de mostrarle los modelos a los auditores desde afuera, como cuando un mecánico te revisa el auto en el taller, sino de dejarlos entrar a la concesionaria con las mismas herramientas que un empleado. Los seis investigadores de METR tienen hoy una computadora de Anthropic, un escritorio en sus oficinas y acceso a las herramientas internas que usa el equipo de evaluación de riesgos.

Tres niveles de confianza, como en una tarjeta de crédito

• Nivel bajo: organizaciones como SecureBio hacen revisiones puntuales y necesitan pedir permiso antes de publicar. Es la categoría más restrictiva.
• Nivel medio: reciben más información y ya pueden publicar sin autorización previa, pero no tienen acceso equivalente al de un empleado.
• Nivel alto: lo ocupa hoy solamente METR. Además del acceso de empleado, pueden publicar evaluaciones, reportes de incidentes y análisis de prácticas internas sin que Anthropic pueda bloquearlos.

Ahora, este acuerdo no es un cheque en blanco. Hay tres categorías de información que quedan fuera del alcance de los auditores: datos de clientes, conversaciones protegidas por el secreto entre abogado y cliente, y detalles puntuales sobre la arquitectura de los modelos. La empresa sí puede pedir que se redacten estos puntos, pero METR queda habilitado a decir públicamente si le parece que esa redacción estaba justificada o no. Es, en la práctica, la diferencia entre pedir permiso y avisar después.

¿Por qué tanto esfuerzo? Anthropic lo explica con cuatro condiciones que, según la empresa, tiene que cumplir una auditoría para servir de algo. Piensen en ellas como los cuatro requisitos para que un control médico sea serio: que el médico tenga experiencia para detectar cuándo un paciente se hace el sano en lugar de estarlo; que no dependa económicamente del hospital que audita; que pueda ver no solo al paciente sino también cómo lo trataron y qué remedios le dieron; y que pueda publicar los resultados sin que nadie le edite el informe antes.

La propia compañía reconoce que no puede mostrar todo lo que sabe. Parte de esa información de seguridad podría caer en manos de actores maliciosos o es sensible desde lo comercial. Por eso el esquema apunta a un grupo chico con acuerdos legalmente exigibles, mientras el resto del personal de METR queda al margen de este trabajo reservado. El equipo ya había revisado varios informes de riesgo durante el año anterior, como una suerte de período de prueba antes de recibir este acceso ampliado.

¿Qué cambia para el usuario común? Por ahora, poco y nada en el día a día. Pero la movida sienta un precedente interesante: cuando una empresa de IA decide que la mejor defensa de su seguridad es mostrarle las tripas a un equipo independiente, el resto de la industria termina tomando nota. Para los que usamos estas herramientas a diario, la promesa es que el próximo reporte de incidentes o la próxima evaluación de seguridad llegue con menos filtro corporativo y más datos concretos sobre cómo se comporta realmente el modelo.