OWASP LLM Top 10
O que é OWASP LLM Top 10?
OWASP LLM Top 10Lista mantida pela OWASP com os dez riscos de segurança mais críticos para aplicações construídas sobre grandes modelos de linguagem.
Publicada pela primeira vez em 2023 e atualizada como OWASP Top 10 for LLM Applications, cataloga riscos como injeção de prompt (LLM01), tratamento inseguro de saídas, envenenamento dos dados de treino, denial of service do modelo, vulnerabilidades na cadeia de fornecimento, divulgação de informação sensível, plugins inseguros, agência excessiva, dependência excessiva e roubo de modelo. Cada entrada inclui cenários, impacto e controlos recomendados para programadores, arquitetos e equipas de segurança. O projeto segue a estrutura do clássico OWASP Top 10 web e é referenciado pelo NIST, ENISA, MITRE ATLAS e pelas orientações do AI Act europeu como base mínima para implementar LLMs com segurança.
● Exemplos
- 01
Usar LLM01 (injeção de prompt) e LLM02 (tratamento inseguro de saídas) como verificações obrigatórias da modelação de ameaças de uma aplicação RAG.
- 02
Mapear o questionário de segurança de um fornecedor ao OWASP LLM Top 10 antes de aprovar uma implementação empresarial de GenAI.
● Perguntas frequentes
O que é OWASP LLM Top 10?
Lista mantida pela OWASP com os dez riscos de segurança mais críticos para aplicações construídas sobre grandes modelos de linguagem. Pertence à categoria Segurança de IA e ML da cibersegurança.
O que significa OWASP LLM Top 10?
Lista mantida pela OWASP com os dez riscos de segurança mais críticos para aplicações construídas sobre grandes modelos de linguagem.
Como funciona OWASP LLM Top 10?
Publicada pela primeira vez em 2023 e atualizada como OWASP Top 10 for LLM Applications, cataloga riscos como injeção de prompt (LLM01), tratamento inseguro de saídas, envenenamento dos dados de treino, denial of service do modelo, vulnerabilidades na cadeia de fornecimento, divulgação de informação sensível, plugins inseguros, agência excessiva, dependência excessiva e roubo de modelo. Cada entrada inclui cenários, impacto e controlos recomendados para programadores, arquitetos e equipas de segurança. O projeto segue a estrutura do clássico OWASP Top 10 web e é referenciado pelo NIST, ENISA, MITRE ATLAS e pelas orientações do AI Act europeu como base mínima para implementar LLMs com segurança.
Como se defender contra OWASP LLM Top 10?
As defesas contra OWASP LLM Top 10 costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.
Quais são outros nomes para OWASP LLM Top 10?
Nomes alternativos comuns: OWASP Top 10 para aplicações LLM, OWASP LLM01-LLM10.
● Termos relacionados
- ai-security№ 866
Injeção de prompt
Ataque que sobrepõe as instruções originais de um LLM ao inserir texto adversarial no prompt, fazendo com que o modelo ignore salvaguardas ou execute ações escolhidas pelo atacante.
- ai-security№ 528
Injeção indireta de prompt
Variante da injeção de prompt em que instruções maliciosas são escondidas em conteúdo de terceiros (páginas, documentos, e-mails) que o LLM consome depois via recuperação, navegação ou uso de ferramentas.
- ai-security№ 898
Segurança RAG
Disciplina dedicada a proteger pipelines de retrieval-augmented generation para que os documentos, vector stores e passos de retrieval que alimentam um LLM não possam ser envenenados, abusados ou usados para exfiltrar dados.
- ai-security№ 034
Risco de cadeia de fornecimento de IA
Conjunto de ameaças decorrentes dos datasets, modelos base, bibliotecas, plug-ins e infraestrutura de terceiros que as organizações combinam para construir e implementar sistemas de IA.
- ai-security№ 618
Guardrails de LLM
Mecanismos que limitam o que uma aplicação baseada em LLM pode receber ou produzir, aplicando regras de safety, segurança e negócio em torno do modelo subjacente.
- ai-security№ 691
MLSecOps
Disciplina que integra controlos de segurança e risco em todo o ciclo de vida do machine learning, desde a recolha de dados até treino, implementação, monitorização e desativação.
● Veja também
- № 030Jailbreak de IA
- № 281Envenenamento de dados
- № 703Extração de modelo
- № 704Inversão de modelo
- № 018Exemplo adversarial
- № 393Ataque de evasão (ML)
- № 666Ataque de inferência de pertença
- № 032Red team de IA