Hugging Face Blog presenta StateBench, un nuevo estándar diseñado para evaluar la capacidad de los modelos lingüísticos a seguir el estado de entidades dentro de documentos extensos. Esta herramienta mide específicamente qué tan bien estos sistemas mantienen la información sobre dichos elementos mientras estos evolucionan a lo largo del texto.
El informe de Hugging Face presenta StateBench como un banco de pruebas para evaluar la capacidad de los modelos lingüísticos de rastrear cambios de estado en documentos extensos. Esta habilidad abarca desde la lectura de código con asignación de variables hasta el seguimiento de historias donde personajes y objetos modifican su situación física.
El informe StateBench de Hugging Face Blog presenta un banco de pruebas para rastrear estados en documentos largos. Los modelos deben seguir cómo evolucionan las entidades a lo largo del texto. Esta capacidad abarca desde la lectura de código hasta el seguimiento de historias complejas. Las arquitecturas recurrentes y híbridas, como Gated DeltaNet, que llevan una memoria en ejecución hacia adelante, surgieron motivadas por los límites teóricos existentes.
Para abordar estas limitaciones teóricas, el equipo desarrolló StateBench para evaluar las diferencias entre modelos con distintas arquitecturas. Los resultados indican que los modelos recurrentes e híbridos generalizan mucho más lejos que los transformers cuando se entrenan directamente en estas tareas.