Выравнивание ИИ
Что такое Выравнивание ИИ?
Выравнивание ИИСовокупность исследований и инженерных практик, обеспечивающих, что ИИ-системы преследуют цели, выполняют инструкции и ведут себя в соответствии с намерениями разработчиков и пользователей.
Работа над выравниванием объединяет ML-исследования, политику и безопасность. Используемые методы — supervised fine-tuning, RLHF, RLAIF, constitutional AI, дебаты, масштабируемый надзор и интерпретируемость. Область изучает риски misalignment: reward hacking, обманчивое выравнивание, sycophancy, specification gaming и эмерджентное стремление к власти у всё более способных систем. Выравнивание — фундамент AI safety: модель, выровненная неверно, но защищённая в традиционном смысле, всё равно может навредить, так как преследует не ту цель. Anthropic, OpenAI, DeepMind и UK AI Security Institute публикуют исследования, оценки и бенчмарки, влияющие на политики, сценарии red team и фреймворки governance.
● Примеры
- 01
Использование RLHF для обучения LLM выполнять инструкции пользователя и отклонять явно вредные запросы.
- 02
Проверка того, не проявляет ли модель sycophancy, соглашаясь с ошибочными убеждениями пользователя.
● Частые вопросы
Что такое Выравнивание ИИ?
Совокупность исследований и инженерных практик, обеспечивающих, что ИИ-системы преследуют цели, выполняют инструкции и ведут себя в соответствии с намерениями разработчиков и пользователей. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Выравнивание ИИ?
Совокупность исследований и инженерных практик, обеспечивающих, что ИИ-системы преследуют цели, выполняют инструкции и ведут себя в соответствии с намерениями разработчиков и пользователей.
Как защититься от Выравнивание ИИ?
Защита от Выравнивание ИИ обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Выравнивание ИИ?
Распространённые альтернативные названия: Выравнивание ценностей, Выравнивание модели.