Según TechCrunch, Anthropic trabaja en FlashProve, un sistema de código abierto que permite verificar qué modelo de inteligencia artificial produjo una respuesta concreta. La propuesta se detalló en una entrada de blog publicada el martes, y su objetivo es que cada usuario confirme que recibe respuestas del modelo que cree usar.
El sistema se apoya en una prueba criptográfica, una garantía matemática de que un resultado procede de un modelo concreto. Según los investigadores, podría impedir que una empresa cambie en secreto a un modelo más barato para reducir costes, o a uno más caro para inflar sus resultados.
Los investigadores añaden que el sistema también podría comprobar afirmaciones de terceros sobre tareas hechas por un modelo avanzado, como el análisis de vulnerabilidades de una biblioteca de software o la revisión de un plan de negocio. Se preguntan cómo puede un usuario verificar esas afirmaciones.
Para funcionar, los laboratorios tendrían que publicar una huella de cada modelo que lancen, que luego puede cotejarse con resultados concretos sin revelar los pesos internos. Esa huella permitiría que el sistema funcione también con modelos comerciales, y está diseñado para ser ligero, de modo que la verificación pueda hacerse en un dispositivo local.
Los investigadores han publicado una especificación técnica y código en GitHub, con licencia abierta, pero la investigación sigue en curso y no hay planes de desplegar el sistema en Anthropic ni en ningún otro laboratorio. Lo presentan como un avance intermedio y piden a otros que lo revisen y mejoren.