Artigo: "Inteligência artificial generativa no direito: da metodologia de avaliação à correção jurídica de LLMS e agentes de IA"
Revista: Atitus Educação
Ano: 2025
Resumo: "O presente trabalho analisa o uso de Inteligência Artificial Generativa, especificamente dos LLMs (Large Language Models), no apoio a realização de atividades jurídicas mediante a testagem sistemática de quinze dos principais modelos de IA fornecidos no mercado (ChatGPT o1, ChatGPT 4o, ChatGPT 4.5, ChatGPT o3-mini, ChatGPT o3-mini-high, Claude Sonnet 3.5, Claude Sonnet 3.7, Grok 3, Gemini Pro 2.0 Experimental, Gemini Pro 2.5 Experimental, DeepSeek R1, Qwen 2.5 Max, Perplexity, Sabiá-3 e Copilot). A partir da teoria do duplo canal de correção, a pesquisa foi multidisciplinar, sendo que para a análise dos LLMs foram desenvolvidos seis testes tipicamente jurídicos para avaliar o desempenho das IAs nas tarefas de: a) conhecimento de legislação brasileira; b) aplicação da legislação; c) aplicação de princípios jurídicos; d) solução de hard case; e) identificação da ratio decidendi de precedentes judiciais; e f) organização de dados/informações de um caso. Este estudo se pauta em pesquisa qualitativa-quantitativa com método descritivo-exploratório, mediante análise de resultados inerentes ao entrelaçamento entre Direito e Inteligência Artificial. Os resultados demonstram: a) o estabelecimento de um framework básico para a testagem jurídica dos LLMs; b) os modelos IA generativa atualmente mais adequados para cada uma das tarefas testadas; c) as tarefas jurídicas em que não é recomendada a utilização de LLMs (ou nas quais são necessários maiores cuidados); d) as tarefas em que os LLMs têm melhor performance no Direito. As conclusões são: a) não é recomendada a utilização das IAs generativas (LLMs) para acessar conhecimento jurídico sistematizado (textos normativos, por exemplo); b) não é recomendada a utilização de IA generativa para uma interpretação das normas jurídicas de maneira livre de controles adicionais; c) a maioria dos LLMs tem dificuldades para, a partir do texto normativo, inferir todas as proposições normativas corretas; d) a utilização de técnicas de Retrieval-Augmented Generation (RAG) ou de IAs auxiliares baseadas em representação do conhecimento se monstra necessária; e) os melhores LLMs apresentaram criatividade e pretensão de correção jurídica ao aplicar princípios jurídicos; f) os melhores LLMs podem ser utilizados para auxiliar na geração de argumentação juridicamente correta; g) modelos de IA generativa não são bons repositórios de conhecimento previamente existente, mas têm capacidade de criar conhecimento novo (paradoxo conhecimento/criação da IA); h) os melhores modelos de IA generativa já podem ser utilizados na exploração argumentativa de precedentes judiciais (identificação de ratio decidendi); i) LLMs podem recuperar dados e informações em documentos jurídicos; j) a engenharia de prompts adequada nem sempre evita alucinações; k) não existe um modelo de IA generativa com desempenho superior ou perfeito para todos os problemas jurídicos; l) nem sempre o LLM de última geração é o mais eficiente em determinada tarefa jurídica".
Referência ABNT: PADUA, Sérgio Rodrigo de; PEIXOTO, Fabiano Hartmann. Inteligência artificial generativa no direito: da metodologia de avaliação à correção jurídica de LLMS e agentes de IA. Revista Brasileira de Direito, Passo Fundo, RS, Brasil, v. 21, n. 1, p. e5237, 2025. DOI: 10.18256/g4jnx825. Disponível em: https://seer.atitus.edu.br/index.php/revistadedireito/article/view/5237. Acesso em: 20 abr. 2026.
