<link rel="stylesheet" href="styles.f3b1fba60ec7970c.css">

Efetividade de um método assistido por LLMs como apoio à triagem de trabalhos em revisão de literatura

Número de edição do periódicoXXVI
AutorBatista, Renan Carneiro
AutorCanto, Fabio Lorensi do
AutorCarvalho Segundo, Washington Luís Ribeiro de
AutorDias, Thiago Magela Rodrigues
Orcid do autorhttps://orcid.org/0009-0002-5234-991X
Orcid do autorhttps://orcid.org/0000-0002-8338-1931
Orcid do autorhttps://orcid.org/0000-0003-3635-9384
Orcid do autorhttps://orcid.org/0000-0001-5057-9936
Lattes do autorhttp://lattes.cnpq.br/0834465625018073
Lattes do autorhttp://lattes.cnpq.br/5914776544385758
Lattes do autorhttp://lattes.cnpq.br/9453481318889500
Lattes do autorhttp://lattes.cnpq.br/4687858846001290
Data de Acesso2026-11-18T17:07:31Z
Ano de publicação2026-11-13
AbstractThis study evaluates the effectiveness of a method assisted by large language models (LLMs) for screening studies in a simulated literature review procedure. The study was conducted using a corpus of 69 records retrieved from the Oasisbr Portal through a Boolean search on the topic “the use of artificial intelligence in monitoring deforestation and forest preservation in the Amazon region.” The records were classified by consensus among the authors into three categories: Include, Reassess, and Exclude. This classification was adopted as the reference standard for evaluating four current LLMs: two proprietary models, Gemini 3.1 Flash Lite and Claude Haiku 4.5, and two open models, Llama 3.1 8B and Qwen 3 14B. The evaluation considered agreement measures, using Cohen’s Kappa, and practical utility measures, using recall for the Keep category and Work Saved over Sampling at Recall R (WSS@R). The results indicate that Gemini, Claude, and Qwen showed moderate agreement with the human reference classification, whereas Llama showed weaker performance and a greater tendency to include studies. Gemini achieved the best result as a pre-filter, with 100% recall for the Keep category and a WSS@R of 31.9%. The study concludes that LLMs can support preliminary screening and reduce the reading workload, provided that they are used under human supervision.
Referência bibliográficaBATISTA, Renan Carneiro; CANTO, Fabio Lorensi do; SEGUNDO, Washington Luís Ribeiro de Carvalho; DIAS, Thiago Magela Rodrigues. Efetividade de um método assistido por LLMs como apoio à triagem de trabalhos em revisão de literatura. In: ENCONTRO NACIONAL DE PESQUISA E PÓS-GRADUAÇÃO EM CIÊNCIA DA INFORMAÇÃO, 26., 2026, Belém. Anais [...]. Belém: ANCIB, 2026. p. 1-15. DOI: https://doi.org/10.59289/0p6r9803. Disponível em: https://enancib.ancib.org/enancib/pt_BR/article/view/2942. Acesso em: 18 nov. 2026.
ResumoEste trabalho avalia a efetividade de um método assistido por modelos de linguagem de grande escala (LLMs) para a triagem de trabalhos em procedimento simulado de revisão de literatura. O estudo foi conduzido a partir de um corpus de 69 registros recuperados no Portal Oasisbr a partir de uma busca booleana sobre o tema “uso de inteligência artificial no monitoramento do desmatamento e na preservação florestal na região amazônica”. Os registros foram classificados por consenso pelos autores nas categorias Incluir, Reavaliar e Excluir, sendo a classificação adotada como referência para avaliar quatro modelos atuais de LLM, sendo dois proprietários (Gemini 3.1 Flash Lite e Claude Haiku 4.5) e dois abertos (Llama 3.1 8B e Qwen 3 14B). A avaliação considerou medidas de concordância, por meio do Kappa de Cohen, e de utilidade prática, por meio do recall da categoria Manter e do Work Saved over Sampling at Recall R (WSS@R). Os resultados indicam que Gemini, Claude e Qwen apresentaram concordância moderada com a classificação de referência humana, enquanto o Llama apresentou desempenho mais fraco e maior tendência de incluir trabalhos. O Gemini obteve o melhor resultado como pré-filtro, com recall de Manter de 100% e WSS@R de 31,9%. Conclui-se que LLMs podem apoiar a triagem preliminar e reduzir a carga de leitura, desde que utilizados sob supervisão humana.
Identificador persistentehttps://doi.org/10.59289/0p6r9803
URL da página da instituiçãohttps://www.ibict.br
Identificador RORhttps://ror.org/006c42y96
URIhttps://ridi.ibict.br/handle/123456789/1521
Publicação originalhttps://enancib.ancib.org/enancib/pt_BR/article/view/2942
Página do eventohttps://enancib2026.com.br/
Área de conhecimento CNPqCiência da informação
IdiomaPortuguês
InstituiçãoInstituto Brasileiro de Informação em Ciência e Tecnologia
PaísBrasil
Título do evento2026: XXVI ENCONTRO NACIONAL DE PESQUISA E PÓS-GRADUAÇÃO EM CIÊNCIA DA INFORMAÇÃO
Sigla da instituiçãoIbict
Natureza jurídica da instituiçãoInstituição pública
Tipo da instituiçãoInstituto de pesquisa
Tipo de acessoAcesso aberto
Palavra ChaveRecuperação da informação
Palavra ChaveRevisão de literatura
Palavra ChaveInteligência artificial
Palavra ChaveModelos de linguagem
TítuloEfetividade de um método assistido por LLMs como apoio à triagem de trabalhos em revisão de literatura
Titúlo AlternativoEffectiveness of an LLM-assisted method for supporting study screening in literature reviews
TipoTrabalho apresentado em evento

Arquivos

Pacote original

Agora exibindo 1 - 1 de 1
Carregando...
Imagem de Miniatura
Nome:
Efetividade de um método assistido por LLMs como apoio à triagem de trabalhos em revisão de literatura.pdf
Tamanho:
557,13 KB
Formato:
Adobe Portable Document Format