Los investigadores han creado XYBench, un conjunto de pruebas que evalúa la capacidad de los asistentes de IA para resolver problemas complejos y reconocer las suposiciones erróneas de los usuarios. El conjunto de pruebas contiene 8.115 preguntas reales de diferentes áreas, como la programación y la cocina. Los resultados muestran que los modelos actuales de asistentes de IA tienen dificultades para reconocer y corregir las suposiciones erróneas de los usuarios, y que la mayoría de sus respuestas se centran en la solución originalmente solicitada en lugar de la solución real que se necesita. Los investigadores esperan que XYBench ayude a mejorar la capacidad de los asistentes de IA para resolver problemas complejos y reconocer las suposiciones erróneas de los usuarios.