Безопасность ИИ (AI Safety)
Что такое Безопасность ИИ (AI Safety)?
Безопасность ИИ (AI Safety)Дисциплина, цель которой — не допускать непреднамеренного вреда от ИИ-систем для пользователей, операторов и общества; охватывает технические, операционные и социальные аспекты.
AI safety шире классической security: она занимается вредом и без злоумышленника — несчастные случаи, предвзятость, обман, выход автономного поведения из-под контроля, dual-use злоупотребления, катастрофические и экзистенциальные риски. Технические направления — выравнивание, интерпретируемость, оценка, устойчивое обучение, мониторинг и capability elicitation. Операционные — responsible-scaling-политики, model cards, deployment-guardrails, контроль доступа. UK AI Safety Institute, US AI Safety Institute, EU AI Office, NIST (AI RMF) и ведущие лаборатории публикуют стандарты. AI safety отличается от AI security, но сильно с ней пересекается: небезопасные с точки зрения safety модели нередко уязвимы и в традиционном смысле.
● Примеры
- 01
Провайдер LLM внедряет responsible-scaling-политику, приостанавливающую обучение при превышении порога возможностей.
- 02
Оценка способности агентной модели к самостоятельной репликации и самовывозу перед публичным релизом.
● Частые вопросы
Что такое Безопасность ИИ (AI Safety)?
Дисциплина, цель которой — не допускать непреднамеренного вреда от ИИ-систем для пользователей, операторов и общества; охватывает технические, операционные и социальные аспекты. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Безопасность ИИ (AI Safety)?
Дисциплина, цель которой — не допускать непреднамеренного вреда от ИИ-систем для пользователей, операторов и общества; охватывает технические, операционные и социальные аспекты.
Как защититься от Безопасность ИИ (AI Safety)?
Защита от Безопасность ИИ (AI Safety) обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Безопасность ИИ (AI Safety)?
Распространённые альтернативные названия: Safety фронтирного ИИ, Ответственный ИИ.