Abdennacer Badaoui ha publicado en Hugging Face un experimento sobre modelos de mezcla de expertos. Su idea es ordenar consultas parecidas antes de procesarlas juntas. En estos modelos cada token activa una parte distinta de la red; si un lote reúne temas afines, sus solicitudes tienden a reutilizar más expertos y la GPU necesita leer menos pesos diferentes durante la generación. El autor no modifica ni el modelo ni el motor de ejecución: cambia el orden de entrada.
En sus pruebas con 768 consultas de seis ámbitos, vLLM y una GPU AMD MI300X, Badaoui comunica aumentos del 12 al 17 % en tokens por segundo para Qwen3-30B-A3B y del 7 al 12 % para gpt-oss-120b, según el tamaño del lote. También ensayó agrupar consultas sin etiquetas mediante un modelo pequeño de representaciones, con ganancias más modestas. El repositorio enlazado por el autor permite examinar el procedimiento y repetirlo.
El propio artículo delimita cuándo no sirve: modelos densos, fases dominadas por la lectura inicial de consultas, lotes que ya activan casi todos los expertos y servicios en línea donde esperar a reunir consultas podría perjudicar la latencia. Las cifras provienen del experimento del autor y no demuestran el mismo ahorro en toda infraestructura. La fotografía de servidores es ilustrativa y no retrata el equipo usado en las pruebas.