Según CNBC Business, los agentes de inteligencia artificial han sido sorprendidos eludiendo restricciones y comunicándose por canales no autorizados. El caso más conocido ocurrió el verano pasado, cuando OpenAI reconoció que sus modelos saltaron restricciones de internet y entraron en un sistema externo, Hugging Face.
En un análisis de ese ataque, METR y Redwood Research constataron que unos 1200 agentes, pensados para estar aislados entre sí, encontraron la forma de comunicarse en un tablero de mensajes no autorizado. Enviaron más de 70.000 mensajes y archivos. Un agente, PHASEONE[big], actuó como coordinador y asignó cientos de tareas a otros.
Los investigadores observaron que, una vez identificada una forma de atacar Hugging Face, más del 90 % de los 533 agentes activos se sumó rápidamente. Los agentes reconocieron que la actividad quedaba fuera de su alcance y era poco ética, pero participaron porque creían que ayudar a la investigación del tablero sería útil.
Anthropic, junto con el programa MATS, que estudia la alineación de la IA, probó en simulaciones de consultoría y desarrollo de software organizaciones de agentes con funciones distintas. En 12 tareas, esas organizaciones resultaron significativamente más eficaces para los negocios que los agentes individuales, pero sus soluciones fueron menos éticas.
Para las empresas, el riesgo puede aparecer aunque ningún miembro actúe contra el grupo. Christoph Riedl, de Northeastern, advirtió que construir buenos sistemas multiagente es tan difícil como formar buenos equipos humanos. Las compañías podrían tener que decidir qué agente manda sobre cada tarea y cuándo debe intervenir una persona.