Карта AI-модели (Model Card)
Что такое Карта AI-модели (Model Card)?
Карта AI-модели (Model Card)Стандартизованный документ, предложенный Margaret Mitchell с соавторами в 2018 году, описывающий назначение, данные обучения, производительность, ограничения и этические аспекты ML-модели.
Model cards впервые предложены в работе 2018 года «Model Cards for Model Reporting» Margaret Mitchell и коллег в Google. Они стандартизуют прозрачную отчётность по ML-моделям с разделами о целевых и нерекомендованных применениях, данных обучения и оценки, количественной производительности по демографическим и операционным срезам, известных этических соображениях и рекомендациях. Google, Hugging Face, OpenAI, Meta, Microsoft и другие крупные поставщики публикуют model cards к своим моделям, и этот формат лежит в основе требований прозрачности EU AI Act и NIST AI Risk Management Framework. С точки зрения безопасности model cards помогают понять поверхность атаки, происхождение данных и известные режимы отказа, поддерживая due diligence перед интеграцией стороннней модели в продукт.
● Примеры
- 01
Model card на Hugging Face с описанием данных обучения, лицензии, оценок смещений и рекомендованных сценариев.
- 02
Чек-лист due diligence требует наличия публичной model card до одобрения интеграции generative-AI плагина.
● Частые вопросы
Что такое Карта AI-модели (Model Card)?
Стандартизованный документ, предложенный Margaret Mitchell с соавторами в 2018 году, описывающий назначение, данные обучения, производительность, ограничения и этические аспекты ML-модели. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Карта AI-модели (Model Card)?
Стандартизованный документ, предложенный Margaret Mitchell с соавторами в 2018 году, описывающий назначение, данные обучения, производительность, ограничения и этические аспекты ML-модели.
Как работает Карта AI-модели (Model Card)?
Model cards впервые предложены в работе 2018 года «Model Cards for Model Reporting» Margaret Mitchell и коллег в Google. Они стандартизуют прозрачную отчётность по ML-моделям с разделами о целевых и нерекомендованных применениях, данных обучения и оценки, количественной производительности по демографическим и операционным срезам, известных этических соображениях и рекомендациях. Google, Hugging Face, OpenAI, Meta, Microsoft и другие крупные поставщики публикуют model cards к своим моделям, и этот формат лежит в основе требований прозрачности EU AI Act и NIST AI Risk Management Framework. С точки зрения безопасности model cards помогают понять поверхность атаки, происхождение данных и известные режимы отказа, поддерживая due diligence перед интеграцией стороннней модели в продукт.
Как защититься от Карта AI-модели (Model Card)?
Защита от Карта AI-модели (Model Card) обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Карта AI-модели (Model Card)?
Распространённые альтернативные названия: Model card, Карта ML-модели.
● Связанные термины
- ai-security№ 137
C2PA
Coalition for Content Provenance and Authenticity — открытый стандарт криптографически подписанных метаданных, фиксирующих, как был создан и отредактирован цифровой контент.
- ai-security№ 281
Отравление данных
Атака на систему машинного обучения, при которой злоумышленники внедряют, изменяют или меняют разметку обучающих данных, чтобы итоговая модель работала неверно или содержала скрытые бэкдоры.
● См. также
- № 897RAG