MLSecOps
Qu'est-ce que MLSecOps ?
MLSecOpsDiscipline qui intègre des contrôles de sécurité et de risque sur tout le cycle de vie du machine learning, depuis la collecte des données jusqu'à l'entraînement, le déploiement, la supervision et le retrait.
Le MLSecOps étend le DevSecOps au machine learning. Données, code, modèles, prompts et infrastructure d'inférence sont traités comme des actifs de premier ordre, avec provenance, signature, gestion des vulnérabilités et tests continus. Un programme couvre généralement la gouvernance des datasets, l'intégrité d'entraînement (contre poisoning et backdoors), les contrôles de chaîne d'approvisionnement pour les modèles open source et dépendances, des registres de modèles sécurisés, la supervision en runtime, le red teaming et la réponse aux incidents. Les cadres NIST AI RMF, ISO/IEC 42001, MITRE ATLAS et OWASP ML/LLM Top 10 fournissent une taxonomie commune. Les programmes matures publient des AIBOM, automatisent des portes d'évaluation en CI/CD et s'alignent avec la sécurité produit et les obligations de confidentialité.
● Exemples
- 01
Une pipeline CI/CD qui bloque le déploiement d'un modèle si les scores d'évaluation adversariale ou de biais régressent au-delà d'un seuil.
- 02
Un registre central qui enregistre les hachages des datasets, les configurations d'entraînement et les résultats de red team pour chaque modèle en production.
● Questions fréquentes
Qu'est-ce que MLSecOps ?
Discipline qui intègre des contrôles de sécurité et de risque sur tout le cycle de vie du machine learning, depuis la collecte des données jusqu'à l'entraînement, le déploiement, la supervision et le retrait. Cette notion relève de la catégorie Sécurité de l'IA et du ML en cybersécurité.
Que signifie MLSecOps ?
Discipline qui intègre des contrôles de sécurité et de risque sur tout le cycle de vie du machine learning, depuis la collecte des données jusqu'à l'entraînement, le déploiement, la supervision et le retrait.
Comment fonctionne MLSecOps ?
Le MLSecOps étend le DevSecOps au machine learning. Données, code, modèles, prompts et infrastructure d'inférence sont traités comme des actifs de premier ordre, avec provenance, signature, gestion des vulnérabilités et tests continus. Un programme couvre généralement la gouvernance des datasets, l'intégrité d'entraînement (contre poisoning et backdoors), les contrôles de chaîne d'approvisionnement pour les modèles open source et dépendances, des registres de modèles sécurisés, la supervision en runtime, le red teaming et la réponse aux incidents. Les cadres NIST AI RMF, ISO/IEC 42001, MITRE ATLAS et OWASP ML/LLM Top 10 fournissent une taxonomie commune. Les programmes matures publient des AIBOM, automatisent des portes d'évaluation en CI/CD et s'alignent avec la sécurité produit et les obligations de confidentialité.
Comment se défendre contre MLSecOps ?
Les défenses contre MLSecOps combinent habituellement des contrôles techniques et des pratiques opérationnelles, comme détaillé dans la définition ci-dessus.
Quels sont les autres noms de MLSecOps ?
Noms alternatifs courants : Opérations de sécurité du ML, AI SecOps.
● Termes liés
- ai-security№ 025
AI Bill of Materials (AIBOM)
Inventaire lisible par la machine de chaque composant entrant dans un système d'IA — datasets, modèles de base, données de fine-tuning, bibliothèques, prompts, artefacts d'évaluation — utilisé pour la sécurité, la conformité et la responsabilité.
- ai-security№ 034
Risque de chaîne d'approvisionnement IA
Ensemble de menaces issues des datasets, modèles de base, bibliothèques, plug-ins et infrastructures tiers que les organisations combinent pour construire et déployer des systèmes d'IA.
- ai-security№ 032
Red Team IA
Équipe spécialisée qui simule des adversaires contre des systèmes d'IA pour révéler des risques de sécurité, de safety et d'usage abusif avant les vrais attaquants.
- ai-security№ 027
Gouvernance de l'IA
Ensemble de politiques, processus, rôles et contrôles qu'organisations et régulateurs mobilisent pour garantir un développement, un déploiement et une exploitation responsables et conformes des systèmes d'IA.
- ai-security№ 777
OWASP LLM Top 10
Liste maintenue par l'OWASP recensant les dix risques de sécurité les plus critiques pour les applications bâties sur de grands modèles de langage.
- ai-security№ 029
Réponse aux incidents IA
Ensemble de processus, rôles et playbooks qu'une organisation utilise pour détecter, contenir, enquêter, communiquer et se remettre d'incidents impliquant des systèmes d'IA.