Un análisis de OpenAI ha encontrado problemas en SWE-Bench Pro, un popular benchmark de códigos, lo que plantea dudas sobre la confiabilidad y precisión en la evaluación de modelos de inteligencia artificial. La herramienta se utiliza para evaluar el rendimiento de los modelos de código, pero parece tener fallos que afectan su precisión. Esto podría tener consecuencias importantes en la investigación y el desarrollo de la inteligencia artificial.