Attaque par inférence d'appartenance
Qu'est-ce que Attaque par inférence d'appartenance ?
Attaque par inférence d'appartenanceAttaque de confidentialité qui détermine si un enregistrement précis faisait partie du jeu d'entraînement d'un modèle de ML, en analysant le comportement du modèle sur cet enregistrement.
L'inférence d'appartenance, formalisée par Shokri et al. (2017), exploite la tendance des modèles de ML à être plus confiants sur les exemples vus pendant l'entraînement. L'attaquant interroge le modèle cible avec un échantillon candidat et compare la confiance, la perte ou les scores par classe à des modèles "shadow" entraînés sur des données similaires, pour en déduire l'appartenance. Un accès via API suffit souvent. C'est une brique pour des menaces de confidentialité plus larges : confirmer que le dossier médical, la photo ou un document d'une personne a servi à entraîner un modèle peut violer le RGPD, l'HIPAA ou l'IA Act. Les défenses incluent la confidentialité différentielle, la régularisation (dropout), la minimisation des sorties et la déduplication des données.
● Exemples
- 01
Déterminer que le dossier d'un patient précis a été utilisé pour entraîner le modèle de diagnostic d'un hôpital en comparant des valeurs de perte.
- 02
Identifier si un livre sous copyright faisait partie du corpus de pré-entraînement d'un LLM via des tests d'appartenance.
● Questions fréquentes
Qu'est-ce que Attaque par inférence d'appartenance ?
Attaque de confidentialité qui détermine si un enregistrement précis faisait partie du jeu d'entraînement d'un modèle de ML, en analysant le comportement du modèle sur cet enregistrement. Cette notion relève de la catégorie Sécurité de l'IA et du ML en cybersécurité.
Que signifie Attaque par inférence d'appartenance ?
Attaque de confidentialité qui détermine si un enregistrement précis faisait partie du jeu d'entraînement d'un modèle de ML, en analysant le comportement du modèle sur cet enregistrement.
Comment fonctionne Attaque par inférence d'appartenance ?
L'inférence d'appartenance, formalisée par Shokri et al. (2017), exploite la tendance des modèles de ML à être plus confiants sur les exemples vus pendant l'entraînement. L'attaquant interroge le modèle cible avec un échantillon candidat et compare la confiance, la perte ou les scores par classe à des modèles "shadow" entraînés sur des données similaires, pour en déduire l'appartenance. Un accès via API suffit souvent. C'est une brique pour des menaces de confidentialité plus larges : confirmer que le dossier médical, la photo ou un document d'une personne a servi à entraîner un modèle peut violer le RGPD, l'HIPAA ou l'IA Act. Les défenses incluent la confidentialité différentielle, la régularisation (dropout), la minimisation des sorties et la déduplication des données.
Comment se défendre contre Attaque par inférence d'appartenance ?
Les défenses contre Attaque par inférence d'appartenance combinent habituellement des contrôles techniques et des pratiques opérationnelles, comme détaillé dans la définition ci-dessus.
Quels sont les autres noms de Attaque par inférence d'appartenance ?
Noms alternatifs courants : MIA, Attaque d'appartenance au jeu d'entraînement.
● Termes liés
- ai-security№ 704
Inversion de modèle
Attaque de confidentialité qui reconstruit des caractéristiques sensibles des données d'entraînement d'un modèle — visages, texte — en exploitant ses sorties ou ses gradients.
- ai-security№ 703
Extraction de modèle
Attaque qui reconstruit les paramètres, le comportement ou les données d'entraînement d'un modèle de machine learning confidentiel en interrogeant systématiquement son API publique.
- ai-security№ 281
Empoisonnement de données
Attaque contre un système d'apprentissage automatique dans laquelle l'adversaire injecte, modifie ou réétiquette des données d'entraînement pour que le modèle résultant se comporte mal ou contienne des portes dérobées cachées.
- ai-security№ 027
Gouvernance de l'IA
Ensemble de politiques, processus, rôles et contrôles qu'organisations et régulateurs mobilisent pour garantir un développement, un déploiement et une exploitation responsables et conformes des systèmes d'IA.
- ai-security№ 777
OWASP LLM Top 10
Liste maintenue par l'OWASP recensant les dix risques de sécurité les plus critiques pour les applications bâties sur de grands modèles de langage.
- ai-security№ 691
MLSecOps
Discipline qui intègre des contrôles de sécurité et de risque sur tout le cycle de vie du machine learning, depuis la collecte des données jusqu'à l'entraînement, le déploiement, la supervision et le retrait.