Los responsables del proyecto presentan ToyBlocks, un entorno de simulación abierto que consideran el primer FoundationWorld, un marco para crear escenarios controlados donde estudiar la robótica. El escenario es deliberadamente sencillo: un brazo robótico y bloques sobre una mesa. Aun así, el robot debe razonar sobre cómo interactúan los bloques y cómo colocarlos al empujarlos, volcarlos y apilarlos. La idea es que los investigadores puedan cambiar los datos de entrenamiento o el diseño del modelo, repetir una prueba y rastrear la causa de un fallo. Los autores quieren extender el enfoque a entornos cada vez más complejos.
ToyBlocks genera demostraciones de forma automática, es decir, grabaciones de un robot completando tareas en simulación, sin necesidad de teleoperación. Las habilidades para tareas cortas se entrenan con aprendizaje por refuerzo y planificación de movimiento dentro de Isaac Lab, el marco de código abierto de Nvidia. Las políticas aprenden a empujar un bloque o a volcarlo sin cogerlo. Para generar los datos, un planificador de tareas y movimientos selecciona y encadena las habilidades necesarias y calcula los desplazamientos entre ellas. El sistema ejecuta cientos de planes en paralelo en una sola GPU y alcanza hasta 24 veces el tiempo real.
Otra parte del trabajo se centra en la generalización de los modelos de acción visual-lingüística, que convierten instrucciones y observaciones visuales en movimientos. Los autores recuerdan que la premisa de estos modelos es generalizar con rapidez tras un preentrenamiento masivo, aunque los estudios previos dan resultados contradictorios. Diseñan pruebas que varían las secuencias de habilidades, las letras o colores de los bloques y su número. Entre las tareas figuran Stack, Unstack, Flip y Rotate. Una prueba entrena con objetos que aparecen solo en la zona izquierda y evalúa en la derecha; otra entrena con torres de 2 y 5 bloques y evalúa con torres de 3 y 4.
Los experimentos con agentes de IA miden cómo un modelo de frontera planifica y actúa mediante llamadas a herramientas, con Claude Opus 5.5. En la tarea de buscar y deletrear, el agente debe formar palabras de tres letras con hasta ocho bloques. La mitad de las escenas no tiene todas las letras necesarias, y en ese caso el agente debe declarar la tarea imposible. El agente resuelve o declara correctamente el 63% de las tareas. Los fallos se deben sobre todo a confundir letras parecidas (13%) o a elegir mal la orientación de una letra en la torre (15%). En otro experimento, el agente escribe sus propias descripciones de habilidades tras probarlas, y el éxito sube del 24% al 63%, frente al 36% de las descripciones escritas por un experto humano.
Otro frente son los modelos de mundo basados en acciones, que predicen cómo cambia una escena cuando el robot actúa. ToyBlocks ofrece el estado real de la escena para medir con precisión esas predicciones. El equipo generó 900 trayectorias por cada una de cuatro habilidades, con la mitad de ejecuciones exitosas y la otra mitad fallidas por pequeños cambios en la configuración espacial. Los modelos se ajustaron con esas demostraciones y se evaluaron con secuencias de acciones. Wan 2.2 predice con mayor exactitud el movimiento de los bloques y el resultado de las tareas, mientras Astra sigue bien la pinza pero tiene dificultades con el contacto. Añadir 100 trayectorias generadas por el mejor modelo de vídeo eleva el éxito en una región no vista del 19% al 78%.
La transferencia al mundo real se probó con un brazo Franka FR3 y una pinza Robotiq, en treinta configuraciones de escena con entre 4 y 10 bloques vistos durante el entrenamiento. El modelo ManiFlow alcanzó un 80.0% de éxito en simulación y un 81.1% en el robot físico. El sistema jerárquico Molmo 2 más ManiFlow tuvo un 55.5% en 200 episodios simulados (111 de 200) y un 50.0% en el mundo real (15 de 30). Un episodio cuenta como fallido si el operador detiene el robot por un movimiento inseguro. Los autores indican que hacen falta más pruebas para establecer confianza estadística entre tareas.
El paquete publicado incluye recursos de simulación, generadores de tareas y demostraciones, dos modelos entrenados (uno basado en Molmo 2 y otro en ManiFlow), código de entrenamiento y evaluación, y conjuntos de validación. La primera entrega contiene 85.336 demostraciones de largo recorrido, cada una con entre seis y doce habilidades, casi 1.600 horas de ejecución de robot y 144 millones de fotogramas. Los responsables anuncian una segunda entrega en unas semanas, con un conjunto de datos mayor, más habilidades y una evaluación más completa. También prometen un entrenamiento por refuerzo totalmente integrado, que no está en el paquete actual.