OWASP LLM Top 10
Qu'est-ce que OWASP LLM Top 10 ?
OWASP LLM Top 10Liste maintenue par l'OWASP recensant les dix risques de sécurité les plus critiques pour les applications bâties sur de grands modèles de langage.
Publiée pour la première fois en 2023 et mise à jour sous le nom OWASP Top 10 for LLM Applications, elle catalogue des risques comme l'injection de prompt (LLM01), le traitement non sécurisé des sorties, l'empoisonnement des données d'entraînement, le déni de service modèle, les vulnérabilités de chaîne d'approvisionnement, la divulgation d'informations sensibles, les plugins non sécurisés, l'agence excessive, la surconfiance et le vol de modèle. Chaque entrée comprend scénarios, impacts métier et contrôles recommandés pour développeurs, architectes et équipes sécurité. Le projet reprend la structure du célèbre OWASP Top 10 web et sert de référence au NIST, à l'ENISA, à MITRE ATLAS et aux lignes directrices de l'AI Act européen pour fixer un socle minimal de déploiement LLM sécurisé.
● Exemples
- 01
Utiliser LLM01 (injection de prompt) et LLM02 (traitement non sécurisé des sorties) comme jalons obligatoires de modélisation de menaces pour une application RAG.
- 02
Mapper le questionnaire de sécurité d'un fournisseur sur l'OWASP LLM Top 10 avant d'approuver un déploiement GenAI en entreprise.
● Questions fréquentes
Qu'est-ce que OWASP LLM Top 10 ?
Liste maintenue par l'OWASP recensant les dix risques de sécurité les plus critiques pour les applications bâties sur de grands modèles de langage. Cette notion relève de la catégorie Sécurité de l'IA et du ML en cybersécurité.
Que signifie OWASP LLM Top 10 ?
Liste maintenue par l'OWASP recensant les dix risques de sécurité les plus critiques pour les applications bâties sur de grands modèles de langage.
Comment fonctionne OWASP LLM Top 10 ?
Publiée pour la première fois en 2023 et mise à jour sous le nom OWASP Top 10 for LLM Applications, elle catalogue des risques comme l'injection de prompt (LLM01), le traitement non sécurisé des sorties, l'empoisonnement des données d'entraînement, le déni de service modèle, les vulnérabilités de chaîne d'approvisionnement, la divulgation d'informations sensibles, les plugins non sécurisés, l'agence excessive, la surconfiance et le vol de modèle. Chaque entrée comprend scénarios, impacts métier et contrôles recommandés pour développeurs, architectes et équipes sécurité. Le projet reprend la structure du célèbre OWASP Top 10 web et sert de référence au NIST, à l'ENISA, à MITRE ATLAS et aux lignes directrices de l'AI Act européen pour fixer un socle minimal de déploiement LLM sécurisé.
Comment se défendre contre OWASP LLM Top 10 ?
Les défenses contre OWASP LLM Top 10 combinent habituellement des contrôles techniques et des pratiques opérationnelles, comme détaillé dans la définition ci-dessus.
Quels sont les autres noms de OWASP LLM Top 10 ?
Noms alternatifs courants : OWASP Top 10 pour applications LLM, OWASP LLM01-LLM10.
● Termes liés
- ai-security№ 866
Injection de prompt
Attaque qui détourne les instructions d'origine d'un LLM en insérant un texte adversarial dans le prompt, poussant le modèle à ignorer ses garde-fous ou exécuter les actions choisies par l'attaquant.
- ai-security№ 528
Injection de prompt indirecte
Variante de l'injection de prompt où des instructions malveillantes sont cachées dans un contenu tiers (page web, document, e-mail) que le LLM ingère ensuite via la récupération, la navigation ou un outil.
- ai-security№ 898
Sécurité RAG
Discipline visant à sécuriser les pipelines de génération augmentée par récupération afin que les documents, stores vectoriels et étapes de retrieval qui alimentent un LLM ne puissent pas être empoisonnés, détournés ou utilisés pour exfiltrer des données.
- ai-security№ 034
Risque de chaîne d'approvisionnement IA
Ensemble de menaces issues des datasets, modèles de base, bibliothèques, plug-ins et infrastructures tiers que les organisations combinent pour construire et déployer des systèmes d'IA.
- ai-security№ 618
Guardrails LLM
Mécanismes qui restreignent ce qu'une application LLM peut recevoir ou produire en appliquant des règles de safety, sécurité et métier autour du modèle sous-jacent.
- ai-security№ 691
MLSecOps
Discipline qui intègre des contrôles de sécurité et de risque sur tout le cycle de vie du machine learning, depuis la collecte des données jusqu'à l'entraînement, le déploiement, la supervision et le retrait.