Anthropic le entrega las llaves de su casa a un grupo de auditores externos para que revisen sus modelos de inteligencia artificial

¿Le darías las llaves de tu casa a un desconocido para que revise si algo adentro funciona mal? Eso, más o menos, es lo que acaba de hacer Anthropic con un grupo pequeño de auditores externos que ahora trabajan puertas adentro de la empresa.

Seis investigadores de METR, una organización sin fines de lucro especializada en evaluar sistemas de inteligencia artificial, recibieron computadoras, un escritorio y las mismas herramientas internas que usa cualquier empleado del área de evaluación de riesgos. Pueden hablar con el personal como un colega más y, sobre todo, pueden publicar lo que encuentren sin que la empresa les ponga un freno.

Tres niveles de auditoría, uno solo con la llave entera

• Nivel bajo: organizaciones como SecureBio hacen revisiones puntuales y necesitan pedir permiso antes de difundir un informe.
• Nivel intermedio: reciben más información y pueden publicar sin autorización previa.
• Nivel alto, donde está hoy METR: acceso equivalente al de un empleado y libertad total para publicar evaluaciones, reportes de incidentes y análisis de las prácticas internas, sin censura de la empresa.

La compañía puede pedir que se tape información sólo en tres temas muy puntuales: datos de clientes, secretos legales entre abogado y cliente, y detalles de la arquitectura de los modelos. Aun así, METR queda habilitado a decir públicamente si considera que esa decisión de silenciar algo estuvo justificada o no.

¿Por qué tanto acceso? La propia Anthropic lo justifica con cuatro condiciones que, según entiende, hacen que una auditoría sirva de algo: que el equipo tenga la experiencia técnica para detectar si un modelo finge estar alineado en vez de estarlo de verdad; que sea independiente económica y operativamente de la firma auditada; que pueda ver más allá del modelo en sí, incluyendo cómo se entrenó y cómo funcionan sus mecanismos de seguridad; y que tenga libertad para publicar sin restricciones previas.

La empresa aclara que no puede abrir toda su información de seguridad al público, porque parte de esos datos podrían ser útiles para actores maliciosos o son sensibles desde lo comercial. Por eso eligió un esquema raro: acceso profundo pero a un grupo muy chico, con acuerdos legales que se pueden exigir, y manteniendo al resto del personal de METR aislado de ese trabajo específico.

El equipo ya había revisado varios informes de riesgo durante el año anterior, lo que les dio a ambas partes un historial antes de pasar a este nivel más alto. Para mí, lo más interesante es que la propia compañía reconoce que un auditor útil necesita poder decir lo que quiera, aunque le moleste. Es, en criollo, fiarte a ciegas para no terminar a ciegas.

Si te sirve, probalo: la próxima vez que una empresa diga que sus modelos son seguros, fijate si permite que alguien externo lo verifique de verdad, sin firmar antes un pacto de silencio.