Un equipo de investigadores ha presentado HOPE (Higher-Order Pruning of Experts), un método para reducir el tamaño de los modelos de lenguaje con arquitectura Mixture-of-Experts (MoE). El problema es la memoria: cada experto debe ocupar espacio durante la inferencia, aunque la mayoría esté inactiva para cada token. El ejemplo que citan es Qwen3.5-122B, con 256 expertos en cada una de sus 48 capas MoE. Esos expertos ocupan el 95% de sus unos 250 GB de memoria, mientras que para cada token solo se usan ocho expertos por capa.
La poda de expertos consiste en eliminar de forma permanente los menos útiles. Tiene ventajas claras: evita la latencia de cargar y descargar expertos sobre la marcha, no exige reentrenar el modelo y es compatible con la cuantización. El reto está en decidir qué expertos pueden retirarse sin dañar el modelo. Los métodos actuales asignan a cada experto una puntuación de importancia calculada con un conjunto de calibración y recortan los menos relevantes capa a capa. Los autores los llaman métodos de primer orden, porque suponen que la contribución de cada experto es independiente de la de los demás.
Ese supuesto falla porque los expertos no actúan aislados. Forman grupos cooperativos que se activan juntos de forma consistente. Los autores observaron esos grupos en sus propios experimentos, y otros trabajos han señalado que esa cooperación es estable y relevante para el rendimiento. Si se elimina un experto que colabora con otro muy importante, puede romperse un grupo entero con un solo borrado. Por eso, ignorar estas interacciones lleva a podas subóptimas, sobre todo cuando se recorta mucho.
La diferencia más visible aparece en SWE-Bench Pro, un benchmark de programación agéntica en el que los modelos resuelven incidencias reales de GitHub de forma autónoma. Con Qwen3.5-35B-A3B podado a esa tasa, HOPE logra 42,3 puntos, frente a los 41,8 del modelo sin podar. REAP cae a 36,2, una regresión del 13%. Los autores creen que estas tareas, que combinan código, llamadas a herramientas y razonamiento durante muchos turnos, probablemente activan combinaciones de expertos muy variadas. En otros casos, los modelos podados igualan o superan al original, probablemente porque se elimina ruido en la tarea objetivo.
HOPE necesita la misma pasada de calibración que cualquier otro método de poda: un solo paso hacia delante sobre datos de calibración que registra qué expertos se activan, sus pesos y sus coactivaciones. Después, un solver cuadrático estándar resuelve el problema en uno o dos segundos por capa, así que el coste adicional es marginal frente al de la calibración. La diagonal de la matriz recupera casi exactamente las puntuaciones de REAP, de modo que la mejora procede de los términos fuera de la diagonal, es decir, de las interacciones entre expertos.
Los propios autores matizan los límites del método. Con tasas de poda del 10 al 20%, métodos como REAP y MAN resultan a veces competitivos y la ventaja de HOPE se reduce. Tampoco tiene en cuenta las interacciones entre capas, porque poda cada una por separado; el marco teórico para ello aparece en el artículo, pero sigue siendo preliminar. Las interacciones de orden superior, como los tripletes de expertos, quedan fuera por su dificultad de estimación. El paquete publicado trabaja en tres pasos: calibrar, resolver y podar, y se ha probado en Qwen3, Qwen3-Next, Qwen3.5 y GLM-4.5.