Detalles del experimento con modelos LLM y un Toyota Corolla 2022
DrivingBench equipó un Toyota Corolla 2022 con un dispositivo comma four y el software de conducción openpilot para permitir el control autónomo mediante instrucciones de grandes modelos de lenguaje (LLM).
Se probó a ChatGPT, Claude y Grok, junto con el modelo GPT-6 Astra, autorizándolos a manejar la dirección, aceleración y frenado, sin conductor humano en el vehículo.
El objetivo era evaluar la capacidad de estos LLM para completar un recorrido real, a partir del control directo de la mecánica del coche.
Los datos del proyecto fueron publicados en la página oficial y acompañados de un paper, con detalles técnicos del montaje y el protocolo de la prueba.
Resultados: solo GPT-6 Astra completó el curso
De los once intentos registrados, ocho terminaron en colisión antes de completar la primera curva, principalmente en la sección identificada como ‘sección B’.
GPT-6 Astra avanzó por primera vez el 49 % del curso en su primer intento, sin completar el recorrido.
En un segundo intento, el mismo modelo logró terminar el trayecto en un tiempo de 5 minutos y 22 segundos, según resumen de fuentes secundarias.
Estos resultados contrastan con las dificultades de otros modelos LLM para mantener el control básico del vehículo durante la prueba.
Implicaciones para la conducción autónoma basada en IA
Este experimento evidencia las limitaciones actuales de usar modelos de lenguaje generalistas para tareas críticas y en tiempo real como la conducción autónoma.
Controlar un vehículo requiere tomar decisiones rápidamente bajo incertidumbre, un reto que sigue sin resolverse con fiabilidad por los LLM probados excepto, parcialmente, GPT-6 Astra.
La transparencia sobre qué modelos exactos se han probado y la reproducibilidad de estos resultados es clave para avanzar en la evaluación rigurosa de sistemas autónomos basados en IA.
También destaca la necesidad de integrar soluciones especializadas y no depender exclusivamente de LLM en ámbitos con riesgos evidentes para la seguridad.
Lecciones y futuras líneas de investigación
En adelante, se precisa ampliar las pruebas con otros vehículos, modelos y condiciones para mapear con rigor las capacidades reales.
Medir el comportamiento de los sistemas en escenarios diversos y con estándares abiertos ayudará a la confianza y adopción segura de la conducción autónoma.
Los desarrolladores de LLM tendrán que evolucionar sus modelos hacia enfoques que integren mejor percepción, planeamiento y control robótico específico.
Mientras tanto, queda claro que la conducción con LLM sigue lejos de poder sustituir sin ayudas la conducción humana en entornos reales.