Alineamiento de IA.

Conjunto de investigación e ingeniería que busca que los sistemas de IA persigan objetivos, sigan instrucciones y se comporten conforme a las intenciones de sus desarrolladores y usuarios. Pertenece a la categoría de Seguridad de IA y ML en ciberseguridad.

Conjunto de investigación e ingeniería que busca que los sistemas de IA persigan objetivos, sigan instrucciones y se comporten conforme a las intenciones de sus desarrolladores y usuarios.

El alineamiento combina investigación en ML, política y seguridad. Sus técnicas incluyen ajuste fino supervisado, aprendizaje por refuerzo con retroalimentación humana (RLHF), con retroalimentación de IA (RLAIF), IA constitucional, debate, supervisión escalable e interpretabilidad. Estudia riesgos de desalineamiento como reward hacking, alineamiento engañoso, sicofantía, juego de especificaciones y comportamientos emergentes de búsqueda de poder en sistemas cada vez más capaces. Es base de la AI safety: un modelo desalineado pero seguro puede causar daño porque persigue el objetivo equivocado. Anthropic, OpenAI, DeepMind y el AI Security Institute del Reino Unido publican investigación, evaluaciones y benchmarks que alimentan políticas, escenarios de red team y marcos de gobernanza.

Las defensas contra Alineamiento de IA combinan habitualmente controles técnicos y prácticas operativas, como se detalla en la definición.

Nombres alternativos comunes: Alineamiento de valores, Alineamiento del modelo.