Firewall de LLM
O que é Firewall de LLM?
Firewall de LLMControlo de segurança que se coloca entre os utilizadores e um grande modelo de linguagem para inspecionar prompts, contexto recuperado e saídas em tempo real, bloqueando ou reescrevendo tráfego que viole a política.
Um firewall de LLM — também chamado AI firewall ou LLM gateway — aplica inspeção, classificação e enforcement de políticas ao tráfego de e para endpoints LLM. Capacidades típicas: deteção de injeção de prompt e jailbreaks, redação de PII e segredos, moderação de conteúdo, validação de esquemas e de chamadas a ferramentas, rate limiting por identidade, controlo de egress RAG e logs detalhados. Produtos e projetos open-source incluem LLM Guard, Prompt Shield, Lakera Guard, e ofertas da Cloudflare, F5, Palo Alto e dos principais hyperscalers. O firewall de LLM complementa, mas não substitui, os guardrails dentro do modelo, o desenho seguro de RAG, o controlo de acesso baseado em identidade e as práticas de MLSecOps. É mais eficaz em arquiteturas de defesa em profundidade, aplicando políticas da organização sobre a safety do fornecedor.
● Exemplos
- 01
Um gateway bloqueia prompts que contenham números de cartão antes de chegarem à API do LLM.
- 02
Um firewall de LLM remove uma assinatura conhecida de injeção de prompt de um documento antes de este entrar no contexto RAG.
● Perguntas frequentes
O que é Firewall de LLM?
Controlo de segurança que se coloca entre os utilizadores e um grande modelo de linguagem para inspecionar prompts, contexto recuperado e saídas em tempo real, bloqueando ou reescrevendo tráfego que viole a política. Pertence à categoria Segurança de IA e ML da cibersegurança.
O que significa Firewall de LLM?
Controlo de segurança que se coloca entre os utilizadores e um grande modelo de linguagem para inspecionar prompts, contexto recuperado e saídas em tempo real, bloqueando ou reescrevendo tráfego que viole a política.
Como funciona Firewall de LLM?
Um firewall de LLM — também chamado AI firewall ou LLM gateway — aplica inspeção, classificação e enforcement de políticas ao tráfego de e para endpoints LLM. Capacidades típicas: deteção de injeção de prompt e jailbreaks, redação de PII e segredos, moderação de conteúdo, validação de esquemas e de chamadas a ferramentas, rate limiting por identidade, controlo de egress RAG e logs detalhados. Produtos e projetos open-source incluem LLM Guard, Prompt Shield, Lakera Guard, e ofertas da Cloudflare, F5, Palo Alto e dos principais hyperscalers. O firewall de LLM complementa, mas não substitui, os guardrails dentro do modelo, o desenho seguro de RAG, o controlo de acesso baseado em identidade e as práticas de MLSecOps. É mais eficaz em arquiteturas de defesa em profundidade, aplicando políticas da organização sobre a safety do fornecedor.
Como se defender contra Firewall de LLM?
As defesas contra Firewall de LLM costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.
Quais são outros nomes para Firewall de LLM?
Nomes alternativos comuns: Firewall de IA, Gateway LLM.
● Termos relacionados
- ai-security№ 618
Guardrails de LLM
Mecanismos que limitam o que uma aplicação baseada em LLM pode receber ou produzir, aplicando regras de safety, segurança e negócio em torno do modelo subjacente.
- ai-security№ 866
Injeção de prompt
Ataque que sobrepõe as instruções originais de um LLM ao inserir texto adversarial no prompt, fazendo com que o modelo ignore salvaguardas ou execute ações escolhidas pelo atacante.
- ai-security№ 777
OWASP LLM Top 10
Lista mantida pela OWASP com os dez riscos de segurança mais críticos para aplicações construídas sobre grandes modelos de linguagem.
- ai-security№ 898
Segurança RAG
Disciplina dedicada a proteger pipelines de retrieval-augmented generation para que os documentos, vector stores e passos de retrieval que alimentam um LLM não possam ser envenenados, abusados ou usados para exfiltrar dados.
- ai-security№ 027
Governança de IA
Conjunto de políticas, processos, papéis e controlos usados por organizações e reguladores para garantir que sistemas de IA são desenvolvidos, implementados e operados de forma responsável e conforme à lei.
- ai-security№ 691
MLSecOps
Disciplina que integra controlos de segurança e risco em todo o ciclo de vida do machine learning, desde a recolha de dados até treino, implementação, monitorização e desativação.