Agência excessiva
O que é Agência excessiva?
Agência excessivaOWASP LLM06 — conceder a um sistema baseado em LLM mais funcionalidades, permissões ou autonomia do que realmente necessita, de modo que uma injeção de prompt ou um erro do modelo se traduza num impacto real desproporcional.
A agência excessiva é o item LLM06 do OWASP Top 10 para aplicações de modelos de linguagem. Descreve a classe de danos que surge quando um sistema baseado em LLM recebe mais ferramentas, permissões mais amplas ou maior autonomia do que o seu caso de uso exige — por exemplo, um agente de suporte com acesso de escrita à API de faturação de produção, ou um assistente de código que pode ler repositórios e ao mesmo tempo fazer push direto para a main sem revisão. A vulnerabilidade não está no modelo, mas no sistema à sua volta: quando o agente acaba por ser subvertido (injeção de prompt, alucinação ou simplesmente um dia mau), o raio de impacto é definido por aquilo que lhe foi permitido fazer. As mitigações seguem o princípio do menor privilégio: limitar cada ferramenta aos dados e ações estritamente necessários, exigir aprovação humana para operações irreversíveis, preferir ferramentas só de leitura ou de staging, separar os modelos de planeamento e execução, e instrumentar as chamadas para que sequências anómalas apareçam na deteção.
● Exemplos
- 01
Uma ferramenta de triagem de tickets baseada em LLM tem permissões totais de administrador no CRM e acaba por modificar em massa registos de clientes depois de uma injeção de prompt num email de suporte.
- 02
Um agente de programação está limitado a abrir pull requests em vez de fazer push direto para a main, pelo que uma sugestão má permanece passível de revisão em vez de chegar a produção.
● Perguntas frequentes
O que é Agência excessiva?
OWASP LLM06 — conceder a um sistema baseado em LLM mais funcionalidades, permissões ou autonomia do que realmente necessita, de modo que uma injeção de prompt ou um erro do modelo se traduza num impacto real desproporcional. Pertence à categoria Segurança de IA e ML da cibersegurança.
O que significa Agência excessiva?
OWASP LLM06 — conceder a um sistema baseado em LLM mais funcionalidades, permissões ou autonomia do que realmente necessita, de modo que uma injeção de prompt ou um erro do modelo se traduza num impacto real desproporcional.
Como funciona Agência excessiva?
A agência excessiva é o item LLM06 do OWASP Top 10 para aplicações de modelos de linguagem. Descreve a classe de danos que surge quando um sistema baseado em LLM recebe mais ferramentas, permissões mais amplas ou maior autonomia do que o seu caso de uso exige — por exemplo, um agente de suporte com acesso de escrita à API de faturação de produção, ou um assistente de código que pode ler repositórios e ao mesmo tempo fazer push direto para a main sem revisão. A vulnerabilidade não está no modelo, mas no sistema à sua volta: quando o agente acaba por ser subvertido (injeção de prompt, alucinação ou simplesmente um dia mau), o raio de impacto é definido por aquilo que lhe foi permitido fazer. As mitigações seguem o princípio do menor privilégio: limitar cada ferramenta aos dados e ações estritamente necessários, exigir aprovação humana para operações irreversíveis, preferir ferramentas só de leitura ou de staging, separar os modelos de planeamento e execução, e instrumentar as chamadas para que sequências anómalas apareçam na deteção.
Como se defender contra Agência excessiva?
As defesas contra Agência excessiva costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.
Quais são outros nomes para Agência excessiva?
Nomes alternativos comuns: LLM06, Agente de IA com privilégios excessivos.
● Termos relacionados
- ai-security№ 870
OWASP LLM Top 10
Lista mantida pela OWASP com os dez riscos de segurança mais críticos para aplicações construídas sobre grandes modelos de linguagem.
- ai-security№ 027
Segurança de IA agêntica
Disciplina que protege agentes LLM autónomos que planeiam, invocam ferramentas e atuam em sistemas reais, onde a injeção de prompt se transforma em execução remota e a agência excessiva em dano efetivo.
- identity-access№ 955
Princípio do menor privilégio
Princípio de segurança que concede a cada utilizador, processo ou serviço apenas os privilégios estritamente necessários para desempenhar a sua função.
- ai-security№ 689
Guardrails de LLM
Mecanismos que limitam o que uma aplicação baseada em LLM pode receber ou produzir, aplicando regras de safety, segurança e negócio em torno do modelo subjacente.
- ai-security№ 969
Injeção de prompt
Ataque que sobrepõe as instruções originais de um LLM ao inserir texto adversarial no prompt, fazendo com que o modelo ignore salvaguardas ou execute ações escolhidas pelo atacante.
- ai-security№ 1285
Tool-Use Injection
Attacks that manipulate an LLM agent's tool-calling layer — forging tool arguments, smuggling instructions through tool outputs, or coaxing the model into calling unsanctioned tools.