Metodología técnica de DeepsecBench
DeepsecBench se basa en un conjunto de 50 archivos seleccionados de un repositorio abierto, con un estado previo a la corrección masiva de vulnerabilidades para emular condiciones reales de código vulnerable. Este conjunto se emplea para probar la capacidad de modelos de IA que analizan código en busca de fallos de seguridad. El benchmark utiliza un 'golden set' de 231 vulnerabilidades detectadas y certificadas por expertos humanos, que sirve como referencia para calificar las predicciones de los modelos.
La puntuación en DeepsecBench se calcula con una fórmula F2 ponderada que otorga el doble de importancia al recall (porcentaje de vulnerabilidades reales detectadas) que a la precisión (proporción de aciertos entre los hallazgos reportados). La expresión matemática es Score = 100 × 5PR/(4P + R), donde P es la precisión y R el recall. Esta elección refleja la prioridad de no dejar vulnerabilidades sin detectar, dadas las consecuencias de estos fallos en seguridad.
Además, se emplea un modelo juez para evaluar detecciones que no estén en el golden set, clasificándolas en verdaderas o falsas detecciones y ajustando así la métrica de precisión. Esto añade una capa de flexibilidad y precisión al análisis, considerando hallazgos adicionales posibles más allá de los identificados manualmente.
Cada ejecución del benchmark se repite tres veces para mitigar variabilidad y se publica la mediana de los resultados. Este enfoque busca asegurar consistencia y fiabilidad en la evaluación, clave para comparar modelos con diferentes arquitecturas o configuraciones.
Ver los datos en tabla
| Concepto | |
|---|---|
| archivos de código usados para la evaluación | 50 |
| vulnerabilidades validadas por humanos | 231 |
| puntaje máximo obtenido por un modelo | 3558 |
| veces que se repite cada test | 3 |
Fuente: Vercel
Resultados destacados y costes de ejecución
Entre los modelos evaluados, GPT-5.6 Sol obtuvo la mejor puntuación con un Score de 35.58, detectando el 30.7% del golden set con una precisión del 96.3%. Esto implica que identificó 71 de las 231 vulnerabilidades existentes con muy pocos falsos positivos.
Otro modelo destacado fue Claude Opus 5, con un Score de 28.36. A diferencia de GPT-5.6 Sol, este modelo completó el benchmark en menos tiempo total (47 minutos aproximadamente en comparación con más de 3 horas del otro modelo) y a un coste menor ($31.96 vs. $55.98).
Vercel estima que aplicar el benchmark a una base de código real de producción implicaría un volumen de datos aproximadamente 100 veces mayor que los 50 archivos evaluados, lo que acarrearía un coste operativo sustancial. Por ejemplo, un escaneo completo con el modelo Kimi K3 costaría unos $1,200 y con el modelo mejor puntuado de OpenAI superaría los $5,000.
Estos números muestran que, aunque la IA puede detectar vulnerabilidades con cierto éxito, los costes y tiempos asociados a un análisis exhaustivo en producción son significativos, lo que influye en la viabilidad y optimización de estos métodos para empresas.
Implicaciones para la ciberseguridad y el sector IA
El lanzamiento de DeepsecBench ayuda a crear un estándar transparente para medir el desempeño de modelos de IA en una tarea crítica: encontrar vulnerabilidades en software. Esto es especialmente relevante en un contexto donde la adopción de IA en ciberseguridad está creciendo y se necesitan métricas claras para justificar inversiones y mejoras.
El balance adoptado entre recall y precisión pone de relieve un principio clave en seguridad: es preferible sobre-detectar que pasar por alto fallos. Este enfoque puede orientar el desarrollo de futuros modelos optimizados para minimizar riesgos reales, incluso a costa de revisiones adicionales generadas por falsos positivos.
Además, la publicación abierta de la metodología y resultados aumenta la confianza del mercado y fomenta competencia saludable entre proveedores de modelos de IA, impulsando mejorar la calidad y rapidez de detección en el sector.
Quedan pendientes retos como reducir costes y tiempo para escaneos a gran escala en producción, algo clave para que esta tecnología pueda integrarse masivamente en flujos de desarrollo. La evolución de benchmarks como DeepsecBench será vital para guiar estas mejoras.
Transparencia y rigor en la evaluación de modelos
La metodología del benchmark destaca por su transparencia al detallar cómo se seleccionan los archivos, cómo se calcula la puntuación y el uso de un modelo juez para ajustes finos. Esto contrasta con evaluaciones más opacas que pueden crear dudas sobre la validez de las comparaciones.
Publicar la mediana de tres ejecuciones ayuda a mitigar la volatilidad intrínseca de modelos de IA, que pueden tener variabilidad en los resultados a pesar de condiciones similares, aportando mayor robustez a las conclusiones.
El uso de fórmulas basadas en métricas conocidas (recall, precisión) con una ponderación explícita atiende con rigor a los riesgos reales en seguridad informática, algo central para que los usuarios finales confíen en estos sistemas.
Este rigor metodológico eleva el nivel del debate en el campo de la IA aplicada a la ciberseguridad y facilita que directivos y técnicos entiendan y valoren con datos objetivos el rendimiento de distintas soluciones.