Empoisonnement de données
Qu'est-ce que Empoisonnement de données ?
Empoisonnement de donnéesAttaque contre un système d'apprentissage automatique dans laquelle l'adversaire injecte, modifie ou réétiquette des données d'entraînement pour que le modèle résultant se comporte mal ou contienne des portes dérobées cachées.
L'empoisonnement vise la phase d'entraînement du cycle de vie ML. L'attaquant manipule les jeux de données — crawls web publics, étiquettes participatives, corpus de fine-tuning, journaux de feedback — pour biaiser le modèle, dégrader sa précision ou implanter un comportement déclenchable. Carlini et al. ont montré en 2023 que de très petites fractions de données empoisonnées sur le web suffisent à corrompre de grands corpus de pré-entraînement. Les variantes incluent les attaques de disponibilité, les attaques ciblées et les portes dérobées activées par un déclencheur. Les défenses portent sur la provenance et la signature des datasets, la déduplication, la détection d'anomalies dans les données, les algorithmes d'apprentissage robustes et l'évaluation continue face à des jeux adversariaux.
● Exemples
- 01
Un attaquant modifie Wikipedia ou des domaines expirés pour que le texte pollué soit aspiré dans un futur corpus de pré-entraînement.
- 02
Un contributeur malveillant soumet des échantillons mal étiquetés à un dataset open-source de classification d'images.
● Questions fréquentes
Qu'est-ce que Empoisonnement de données ?
Attaque contre un système d'apprentissage automatique dans laquelle l'adversaire injecte, modifie ou réétiquette des données d'entraînement pour que le modèle résultant se comporte mal ou contienne des portes dérobées cachées. Cette notion relève de la catégorie Sécurité de l'IA et du ML en cybersécurité.
Que signifie Empoisonnement de données ?
Attaque contre un système d'apprentissage automatique dans laquelle l'adversaire injecte, modifie ou réétiquette des données d'entraînement pour que le modèle résultant se comporte mal ou contienne des portes dérobées cachées.
Comment fonctionne Empoisonnement de données ?
L'empoisonnement vise la phase d'entraînement du cycle de vie ML. L'attaquant manipule les jeux de données — crawls web publics, étiquettes participatives, corpus de fine-tuning, journaux de feedback — pour biaiser le modèle, dégrader sa précision ou implanter un comportement déclenchable. Carlini et al. ont montré en 2023 que de très petites fractions de données empoisonnées sur le web suffisent à corrompre de grands corpus de pré-entraînement. Les variantes incluent les attaques de disponibilité, les attaques ciblées et les portes dérobées activées par un déclencheur. Les défenses portent sur la provenance et la signature des datasets, la déduplication, la détection d'anomalies dans les données, les algorithmes d'apprentissage robustes et l'évaluation continue face à des jeux adversariaux.
Comment se défendre contre Empoisonnement de données ?
Les défenses contre Empoisonnement de données combinent habituellement des contrôles techniques et des pratiques opérationnelles, comme détaillé dans la définition ci-dessus.
Quels sont les autres noms de Empoisonnement de données ?
Noms alternatifs courants : Empoisonnement des données d'entraînement, Empoisonnement de dataset.
● Termes liés
- ai-security№ 081
Attaque par porte dérobée (ML)
Attaque en phase d'entraînement qui implante un comportement caché : le modèle agit normalement sur des entrées propres, mais produit la sortie choisie par l'attaquant dès qu'un déclencheur secret apparaît.
- ai-security№ 034
Risque de chaîne d'approvisionnement IA
Ensemble de menaces issues des datasets, modèles de base, bibliothèques, plug-ins et infrastructures tiers que les organisations combinent pour construire et déployer des systèmes d'IA.
- ai-security№ 729
Attaque Nightshade
Technique d'empoisonnement de données conçue par l'équipe Glaze de l'Université de Chicago, qui ajoute des perturbations imperceptibles aux images afin que les modèles text-to-image entraînés dessus apprennent des concepts profondément déformés.
- ai-security№ 691
MLSecOps
Discipline qui intègre des contrôles de sécurité et de risque sur tout le cycle de vie du machine learning, depuis la collecte des données jusqu'à l'entraînement, le déploiement, la supervision et le retrait.
- ai-security№ 018
Exemple adversarial
Entrée volontairement perturbée — souvent imperceptiblement pour l'humain — afin qu'un modèle de machine learning produise une prédiction erronée ou choisie par l'attaquant.
- ai-security№ 777
OWASP LLM Top 10
Liste maintenue par l'OWASP recensant les dix risques de sécurité les plus critiques pour les applications bâties sur de grands modèles de langage.
● Voir aussi
- № 704Inversion de modèle
- № 393Attaque d'évasion (ML)
- № 666Attaque par inférence d'appartenance
- № 1026Shadow AI
- № 025AI Bill of Materials (AIBOM)
- № 898Sécurité RAG
- № 897RAG
- № 376Attaques sur embeddings