Un análisis de OpenAI ha encontrado problemas en SWE-Bench Pro, un popular benchmark de códigos, lo que plantea dudas sobre la confiabilidad y precisión en la evaluación de modelos de inteligencia artificial. La herramienta se utiliza para evaluar el rendimiento de los modelos de código, pero parece tener fallos que afectan su precisión. Esto podría tener consecuencias importantes en la investigación y el desarrollo de la inteligencia artificial.
Separar señal de ruido en las evaluaciones de códigos
Imagen ilustrativa: OpenAI · Public domain
1 min de lectura · Cómo se elabora esta pieza
Resumen redactado con IA a partir de la noticia original.
Fuente principal:
OpenAI · News →
OpenAI · News →
