Segurança RAG.

Disciplina dedicada a proteger pipelines de retrieval-augmented generation para que os documentos, vector stores e passos de retrieval que alimentam um LLM não possam ser envenenados, abusados ou usados para exfiltrar dados. Pertence à categoria Segurança de IA e ML da cibersegurança.

Disciplina dedicada a proteger pipelines de retrieval-augmented generation para que os documentos, vector stores e passos de retrieval que alimentam um LLM não possam ser envenenados, abusados ou usados para exfiltrar dados.

O RAG permite que um LLM ancore as suas respostas num corpus externo — ficheiros, bases de dados, páginas de intranet, documentos de clientes. Cada retrieval é também uma superfície de ataque. Ameaças: injeção indireta de prompt via documentos maliciosos, envenenamento do vector store que enviesa o retrieval, ataques no espaço de embeddings que exfiltram passagens sensíveis, autorizações demasiado amplas que devolvem documentos proibidos e fugas via logs de prompts. O OWASP LLM Top 10 cobre muitas destas como LLM01, LLM02, LLM06 e LLM08. Controlos: controlo de acesso rigoroso sobre os índices, sanitização de conteúdo antes do chunking, fontes assinadas e com proveniência, logs de auditoria do retrieval, filtragem de saídas e aplicação das mesmas políticas de DLP e identidade do armazenamento subjacente.

As defesas contra Segurança RAG costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.

Nomes alternativos comuns: RAG seguro, Hardening de RAG.