Google revela que el orden de las entidades en las preguntas afecta la recuperación de hechos por IA

El impacto del orden de las entidades en las preguntas de IA

Un estudio de Google analiza cómo el orden en la que se plantean las preguntas, específicamente la posición del sujeto y del objeto, afecta la capacidad de recuperación de hechos en modelos de IA. Los resultados muestran una variabilidad significativa en la precisión según cómo se estructuren las consultas, lo que afecta la utilidad práctica de estos sistemas para tareas de recuperación de información.

Este hallazgo revela que pequeños cambios en el diseño de las preguntas pueden mejorar notablemente la eficiencia de los modelos, aunque las limitaciones en recuperación directa aún persisten. La influencia del orden en los resultados indica que el futuro de la optimización en IA pasa por ajustar cómo se formulan las consultas para maximizar la recuperación efectiva de la memoria del modelo.

Capacidades y límites en la recuperación de hechos en los modelos de Google

El artículo cita que los principales LLMs de Google codifican entre el 95% y el 98% de los hechos probados pero solo recuperan directamente entre el 26% y 34% en sus respuestas. La diferencia entre codificación y recuperación revela una importante brecha en la funcionalidad práctica de estos modelos, que aún dependen en gran medida de su memoria interna y de las formas en que se formulan las preguntas.

El uso de técnicas de ‘pensamiento’ permite a estos modelos recuperar entre el 40% y el 65% de los hechos que no lograron recordar en primera instancia, un aumento que puede ser crucial en aplicaciones donde la precisión y la memoria son determinantes.