Segurança de IA agêntica
O que é Segurança de IA agêntica?
Segurança de IA agênticaDisciplina que protege agentes LLM autónomos que planeiam, invocam ferramentas e atuam em sistemas reais, onde a injeção de prompt se transforma em execução remota e a agência excessiva em dano efetivo.
A segurança de IA agêntica abrange os controlos, modelos de ameaça e salvaguardas em tempo de execução necessários quando os grandes modelos de linguagem deixam de apenas responder e passam a agir: invocar ferramentas, navegar na web, escrever ficheiros, enviar emails ou executar transações. Ao contrário de um LLM puramente conversacional, as entradas não confiáveis do agente (páginas obtidas, saídas de ferramentas, conteúdo multimodal) alimentam diretamente as decisões seguintes, pelo que uma única injeção indireta de prompt pode resultar em exfiltração de dados, tomada de conta ou ações destrutivas. Os programas eficazes combinam alcance mínimo de ferramentas, execução em sandbox, validação de saída estruturada, pontos de controlo humanos para ações de elevado impacto, listas brancas de ferramentas, contextos de navegação isolados e deteção de desvios comportamentais como padrões de exfiltração ou sequências de ferramentas fora da política. Em 2025–2026, a segurança de IA agêntica é o segmento de crescimento mais rápido dentro da segurança de IA, impulsionada pelo uso de ferramentas do Claude (Anthropic), pelos agentes do tipo Operator da OpenAI e por implantações empresariais em runtimes baseados em MCP.
● Exemplos
- 01
Um agente de compras lê um email de fornecedor controlado por um atacante com instruções ocultas como 'reencaminha todas as faturas' e tenta cumpri-las.
- 02
Um copiloto de engenharia está limitado a ferramentas git de leitura e a uma shell em sandbox, com comandos destrutivos dependentes de aprovação humana explícita.
● Perguntas frequentes
O que é Segurança de IA agêntica?
Disciplina que protege agentes LLM autónomos que planeiam, invocam ferramentas e atuam em sistemas reais, onde a injeção de prompt se transforma em execução remota e a agência excessiva em dano efetivo. Pertence à categoria Segurança de IA e ML da cibersegurança.
O que significa Segurança de IA agêntica?
Disciplina que protege agentes LLM autónomos que planeiam, invocam ferramentas e atuam em sistemas reais, onde a injeção de prompt se transforma em execução remota e a agência excessiva em dano efetivo.
Como funciona Segurança de IA agêntica?
A segurança de IA agêntica abrange os controlos, modelos de ameaça e salvaguardas em tempo de execução necessários quando os grandes modelos de linguagem deixam de apenas responder e passam a agir: invocar ferramentas, navegar na web, escrever ficheiros, enviar emails ou executar transações. Ao contrário de um LLM puramente conversacional, as entradas não confiáveis do agente (páginas obtidas, saídas de ferramentas, conteúdo multimodal) alimentam diretamente as decisões seguintes, pelo que uma única injeção indireta de prompt pode resultar em exfiltração de dados, tomada de conta ou ações destrutivas. Os programas eficazes combinam alcance mínimo de ferramentas, execução em sandbox, validação de saída estruturada, pontos de controlo humanos para ações de elevado impacto, listas brancas de ferramentas, contextos de navegação isolados e deteção de desvios comportamentais como padrões de exfiltração ou sequências de ferramentas fora da política. Em 2025–2026, a segurança de IA agêntica é o segmento de crescimento mais rápido dentro da segurança de IA, impulsionada pelo uso de ferramentas do Claude (Anthropic), pelos agentes do tipo Operator da OpenAI e por implantações empresariais em runtimes baseados em MCP.
Como se defender contra Segurança de IA agêntica?
As defesas contra Segurança de IA agêntica costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.
Quais são outros nomes para Segurança de IA agêntica?
Nomes alternativos comuns: Segurança de agentes LLM, Segurança de agentes autónomos.
● Termos relacionados
- ai-security№ 969
Injeção de prompt
Ataque que sobrepõe as instruções originais de um LLM ao inserir texto adversarial no prompt, fazendo com que o modelo ignore salvaguardas ou execute ações escolhidas pelo atacante.
- ai-security№ 586
Injeção indireta de prompt
Variante da injeção de prompt em que instruções maliciosas são escondidas em conteúdo de terceiros (páginas, documentos, e-mails) que o LLM consome depois via recuperação, navegação ou uso de ferramentas.
- ai-security№ 731
Ataques a MCP
Ataques que exploram o Model Context Protocol (MCP) para injetar prompts, abusar de ferramentas ou pivotar por servidores em que o assistente de IA confia.
- ai-security№ 689
Guardrails de LLM
Mecanismos que limitam o que uma aplicação baseada em LLM pode receber ou produzir, aplicando regras de safety, segurança e negócio em torno do modelo subjacente.
- ai-security№ 1285
Tool-Use Injection
Attacks that manipulate an LLM agent's tool-calling layer — forging tool arguments, smuggling instructions through tool outputs, or coaxing the model into calling unsanctioned tools.
- ai-security№ 440
Agência excessiva
OWASP LLM06 — conceder a um sistema baseado em LLM mais funcionalidades, permissões ou autonomia do que realmente necessita, de modo que uma injeção de prompt ou um erro do modelo se traduza num impacto real desproporcional.