Un desarrollador ha encontrado formas de mejorar la inferencia de modelos de expertos mixtos (MoE) en Transformers, permitiendo ejecutar modelos de gran tamaño en dispositivos con poca memoria. Utilizando una caché compartida y un sistema de slots, logró aumentar la velocidad de inferencia en un 30% en comparación con la versión original de Transformers. Este avance podría permitir la ejecución de modelos de gran tamaño en dispositivos con poca memoria.
Mejorar la inferencia de MoE con Transformers

Imagen ilustrativa: NODO · Identidad del sitio
1 min de lectura · Cómo se elabora esta pieza
Resumen redactado con IA a partir de la noticia original.
Fuente principal:
Hugging Face Blog →
Hugging Face Blog →