Durante nuestro monitoreo en foros de la dark web, identificamos un caso particular que llamó nuestra atención cuando un actor de amenazas compartió detalladamente su metodología de utilización de un proyecto de código abierto, originalmente desarrollado para la protección de sistemas LLM, para identificar fallos críticos de seguridad (y Zero Days) en grandes proyectos de código abierto.
Lo que hace esta descubrimiento particularmente preocupante es la repercusión generada en el foro. Diversos actores maliciosos confirmaron el éxito en sus propios intentos, reportando el descubrimiento de nuevas vulnerabilidades zero-day en proyectos de gran escala. Esta publicación marca un momento crítico entre la inteligencia artificial y la seguridad cibernética, donde herramientas de IA originalmente desarrolladas para protección están siendo subvertidas para fines maliciosos.
Visión General del Proyecto
La principal innovación del proyecto en sí está en su capacidad de crear y analizar automáticamente grandes volúmenes de código. El proyecto examina minuciosamente el flujo desde la entrada del usuario hasta la salida del servidor, identificando patrones que pueden indicar vulnerabilidades complejas y multi-etapas que frecuentemente escapan de herramientas tradicionales de análisis estático o especialistas en pentest, especialmente durante nuestro monitoreo.

La herramienta fue diseñada específicamente para analizar repositorios GitHub, requiriendo solo una clave de API (ya sea de Anthropic u OpenAI) y la ruta local al repositorio objetivo. Una característica notable es la flexibilidad en la elección del modelo de lenguaje, con soporte para Claude, GPT y otros LLMs, siendo que las pruebas internas indican resultados superiores con el modelo Claude, que actualmente es el mejor para análisis de código.
En términos de funcionalidad, el proyecto genera informes detallados que incluyen evaluaciones iniciales por archivo, análisis secundarios con referencias contextuales de funciones y clases, puntuaciones de confianza para cada vulnerabilidad identificada y registros completos del proceso de análisis. Un aspecto particularmente útil es la inclusión de pruebas de concepto (PoC) para las vulnerabilidades encontradas.
El proyecto actualmente tiene algunas limitaciones y se enfoca en siete clases principales de vulnerabilidades:
- Local file include (LFI)
- Arbitrary file overwrite (AFO)
- Remote code execution (RCE)
- Cross site scripting (XSS)
- SQL Injection (SQLI)
- Server side request forgery (SSRF)
- Insecure Direct Object Reference (IDOR)

Actualmente, el proyecto está limitado a bases de código Python, aunque existe una expansión planificada de los desarrolladores para otros lenguajes en el futuro. Esta especialización permite un análisis más profundo y preciso dentro del ecosistema Python.

Un ejemplo práctico de la eficacia de la herramienta que nos llamó la atención fue el descubrimiento de una vulnerabilidad zero-day en Ragflow, donde identificó una falla crítica de ejecución remota de código. Identificamos también que el proyecto no solo detectó la vulnerabilidad, sino que también proporcionó un análisis detallado del problema y un PoC en script para ser probado, demostrando su capacidad no solo de identificar, sino también de documentar y validar potenciales vulnerabilidades.
El Impacto de la IA en el Descubrimiento de Fallos de Seguridad
La democratización de estas tecnologías trae consigo tanto oportunidades como responsabilidades. Por un lado, investigadores y profesionales de seguridad ahora tienen acceso a herramientas más sofisticadas para proteger sistemas y aplicaciones. Por otro lado, la facilidad de uso de estas herramientas exige un compromiso aún mayor con prácticas éticas y responsables.
El futuro de la seguridad cibernética está inevitablemente entrelazado con la inteligencia artificial. La manera en que gestionamos este tipo de soluciones como el proyecto mencionado aquí definirá los estándares de seguridad digital para las próximas décadas. A medida que estas herramientas evolucionan, debemos mantenernos vigilantes no solo en la identificación de vulnerabilidades, sino también en la preservación de los principios éticos que sostienen nuestra profesión.
Por eso, mientras los hackers utilizan IA y explotan vulnerabilidades Zero-Day, proteger su empresa requiere más que soluciones tradicionales. Las estrategias proactivas y las tecnologías avanzadas son esenciales para mantenerse por delante.
En ZenoX, estamos comprometidos a ayudar a empresas como la suya a navegar por este desafiante panorama con seguridad, confianza y utilizando la IA Generativa como herramienta para combatir el cibercrimen.
Proteja su empresa contra amenazas cibernéticas → Agende una demo gratuita de Vydar