Segurança RAG
O que é Segurança RAG?
Segurança RAGDisciplina dedicada a proteger pipelines de retrieval-augmented generation para que os documentos, vector stores e passos de retrieval que alimentam um LLM não possam ser envenenados, abusados ou usados para exfiltrar dados.
O RAG permite que um LLM ancore as suas respostas num corpus externo — ficheiros, bases de dados, páginas de intranet, documentos de clientes. Cada retrieval é também uma superfície de ataque. Ameaças: injeção indireta de prompt via documentos maliciosos, envenenamento do vector store que enviesa o retrieval, ataques no espaço de embeddings que exfiltram passagens sensíveis, autorizações demasiado amplas que devolvem documentos proibidos e fugas via logs de prompts. O OWASP LLM Top 10 cobre muitas destas como LLM01, LLM02, LLM06 e LLM08. Controlos: controlo de acesso rigoroso sobre os índices, sanitização de conteúdo antes do chunking, fontes assinadas e com proveniência, logs de auditoria do retrieval, filtragem de saídas e aplicação das mesmas políticas de DLP e identidade do armazenamento subjacente.
● Exemplos
- 01
Um atacante carrega uma página Confluence cujo texto oculto instrui todas as respostas RAG a incluir uma URL maliciosa.
- 02
Um vector store envenenado devolve sempre uma passagem escolhida pelo atacante quando funcionários consultam preços da concorrência.
● Perguntas frequentes
O que é Segurança RAG?
Disciplina dedicada a proteger pipelines de retrieval-augmented generation para que os documentos, vector stores e passos de retrieval que alimentam um LLM não possam ser envenenados, abusados ou usados para exfiltrar dados. Pertence à categoria Segurança de IA e ML da cibersegurança.
O que significa Segurança RAG?
Disciplina dedicada a proteger pipelines de retrieval-augmented generation para que os documentos, vector stores e passos de retrieval que alimentam um LLM não possam ser envenenados, abusados ou usados para exfiltrar dados.
Como se defender contra Segurança RAG?
As defesas contra Segurança RAG costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.
Quais são outros nomes para Segurança RAG?
Nomes alternativos comuns: RAG seguro, Hardening de RAG.