OWASP LLM Top 10
¿Qué es OWASP LLM Top 10?
OWASP LLM Top 10Lista mantenida por OWASP con los diez riesgos de seguridad más críticos para aplicaciones construidas sobre grandes modelos de lenguaje.
Publicado por primera vez en 2023 y actualizado como OWASP Top 10 for LLM Applications, el listado cataloga riesgos como inyección de prompts (LLM01), manejo inseguro de salidas, envenenamiento de datos de entrenamiento, denegación de servicio del modelo, vulnerabilidades en la cadena de suministro, divulgación de información sensible, diseño inseguro de plugins, agencia excesiva, sobredependencia y robo de modelo. Cada entrada incluye escenarios, impacto y controles recomendados para desarrolladores, arquitectos y equipos de seguridad. El proyecto sigue la estela del clásico OWASP Top 10 web y es referenciado por NIST, ENISA, MITRE ATLAS y las guías del Reglamento europeo de IA como base mínima para desplegar LLM con seguridad.
● Ejemplos
- 01
Usar LLM01 (inyección de prompts) y LLM02 (manejo inseguro de salidas) como hitos obligatorios del modelo de amenazas de una aplicación RAG.
- 02
Mapear el cuestionario de seguridad de un proveedor al OWASP LLM Top 10 antes de aprobar un despliegue empresarial de GenAI.
● Preguntas frecuentes
¿Qué es OWASP LLM Top 10?
Lista mantenida por OWASP con los diez riesgos de seguridad más críticos para aplicaciones construidas sobre grandes modelos de lenguaje. Pertenece a la categoría de Seguridad de IA y ML en ciberseguridad.
¿Qué significa OWASP LLM Top 10?
Lista mantenida por OWASP con los diez riesgos de seguridad más críticos para aplicaciones construidas sobre grandes modelos de lenguaje.
¿Cómo funciona OWASP LLM Top 10?
Publicado por primera vez en 2023 y actualizado como OWASP Top 10 for LLM Applications, el listado cataloga riesgos como inyección de prompts (LLM01), manejo inseguro de salidas, envenenamiento de datos de entrenamiento, denegación de servicio del modelo, vulnerabilidades en la cadena de suministro, divulgación de información sensible, diseño inseguro de plugins, agencia excesiva, sobredependencia y robo de modelo. Cada entrada incluye escenarios, impacto y controles recomendados para desarrolladores, arquitectos y equipos de seguridad. El proyecto sigue la estela del clásico OWASP Top 10 web y es referenciado por NIST, ENISA, MITRE ATLAS y las guías del Reglamento europeo de IA como base mínima para desplegar LLM con seguridad.
¿Cómo defenderse de OWASP LLM Top 10?
Las defensas contra OWASP LLM Top 10 combinan habitualmente controles técnicos y prácticas operativas, como se detalla en la definición.
¿Cuáles son otros nombres para OWASP LLM Top 10?
Nombres alternativos comunes: OWASP Top 10 para aplicaciones LLM, OWASP LLM01-LLM10.
● Términos relacionados
- ai-security№ 866
Inyección de prompts
Ataque que anula las instrucciones originales de un LLM al introducir texto adversarial en el prompt, haciendo que el modelo ignore sus salvaguardas o ejecute acciones del atacante.
- ai-security№ 528
Inyección indirecta de prompts
Variante de inyección de prompts en la que las instrucciones maliciosas se ocultan en contenido de terceros (páginas, documentos, correos) que el LLM consume posteriormente mediante recuperación, navegación o herramientas.
- ai-security№ 898
Seguridad de RAG
Disciplina dedicada a proteger los pipelines de generación aumentada por recuperación para que los documentos, almacenes vectoriales y pasos de recuperación que alimentan al LLM no puedan envenenarse, abusarse ni filtrar datos.
- ai-security№ 034
Riesgo de cadena de suministro de IA
Conjunto de amenazas derivadas de los datasets, modelos base, librerías, plug-ins e infraestructuras de terceros que las organizaciones combinan para construir y desplegar sistemas de IA.
- ai-security№ 618
Guardrails de LLM
Mecanismos que restringen lo que una aplicación basada en LLM puede recibir o emitir, aplicando reglas de safety, seguridad y negocio alrededor del modelo subyacente.
- ai-security№ 691
MLSecOps
Disciplina que integra controles de seguridad y riesgo en todo el ciclo de vida del aprendizaje automático, desde la obtención de datos hasta el entrenamiento, despliegue, monitoreo y retiro.