Efetividade de um método assistido por LLMs como apoio à triagem de trabalhos em revisão de literatura
| Número de edição do periódico | XXVI | |
| Autor | Batista, Renan Carneiro | |
| Autor | Canto, Fabio Lorensi do | |
| Autor | Carvalho Segundo, Washington Luís Ribeiro de | |
| Autor | Dias, Thiago Magela Rodrigues | |
| Orcid do autor | https://orcid.org/0009-0002-5234-991X | |
| Orcid do autor | https://orcid.org/0000-0002-8338-1931 | |
| Orcid do autor | https://orcid.org/0000-0003-3635-9384 | |
| Orcid do autor | https://orcid.org/0000-0001-5057-9936 | |
| Lattes do autor | http://lattes.cnpq.br/0834465625018073 | |
| Lattes do autor | http://lattes.cnpq.br/5914776544385758 | |
| Lattes do autor | http://lattes.cnpq.br/9453481318889500 | |
| Lattes do autor | http://lattes.cnpq.br/4687858846001290 | |
| Data de Acesso | 2026-11-18T17:07:31Z | |
| Ano de publicação | 2026-11-13 | |
| Abstract | This study evaluates the effectiveness of a method assisted by large language models (LLMs) for screening studies in a simulated literature review procedure. The study was conducted using a corpus of 69 records retrieved from the Oasisbr Portal through a Boolean search on the topic “the use of artificial intelligence in monitoring deforestation and forest preservation in the Amazon region.” The records were classified by consensus among the authors into three categories: Include, Reassess, and Exclude. This classification was adopted as the reference standard for evaluating four current LLMs: two proprietary models, Gemini 3.1 Flash Lite and Claude Haiku 4.5, and two open models, Llama 3.1 8B and Qwen 3 14B. The evaluation considered agreement measures, using Cohen’s Kappa, and practical utility measures, using recall for the Keep category and Work Saved over Sampling at Recall R (WSS@R). The results indicate that Gemini, Claude, and Qwen showed moderate agreement with the human reference classification, whereas Llama showed weaker performance and a greater tendency to include studies. Gemini achieved the best result as a pre-filter, with 100% recall for the Keep category and a WSS@R of 31.9%. The study concludes that LLMs can support preliminary screening and reduce the reading workload, provided that they are used under human supervision. | |
| Referência bibliográfica | BATISTA, Renan Carneiro; CANTO, Fabio Lorensi do; SEGUNDO, Washington Luís Ribeiro de Carvalho; DIAS, Thiago Magela Rodrigues. Efetividade de um método assistido por LLMs como apoio à triagem de trabalhos em revisão de literatura. In: ENCONTRO NACIONAL DE PESQUISA E PÓS-GRADUAÇÃO EM CIÊNCIA DA INFORMAÇÃO, 26., 2026, Belém. Anais [...]. Belém: ANCIB, 2026. p. 1-15. DOI: https://doi.org/10.59289/0p6r9803. Disponível em: https://enancib.ancib.org/enancib/pt_BR/article/view/2942. Acesso em: 18 nov. 2026. | |
| Resumo | Este trabalho avalia a efetividade de um método assistido por modelos de linguagem de grande escala (LLMs) para a triagem de trabalhos em procedimento simulado de revisão de literatura. O estudo foi conduzido a partir de um corpus de 69 registros recuperados no Portal Oasisbr a partir de uma busca booleana sobre o tema “uso de inteligência artificial no monitoramento do desmatamento e na preservação florestal na região amazônica”. Os registros foram classificados por consenso pelos autores nas categorias Incluir, Reavaliar e Excluir, sendo a classificação adotada como referência para avaliar quatro modelos atuais de LLM, sendo dois proprietários (Gemini 3.1 Flash Lite e Claude Haiku 4.5) e dois abertos (Llama 3.1 8B e Qwen 3 14B). A avaliação considerou medidas de concordância, por meio do Kappa de Cohen, e de utilidade prática, por meio do recall da categoria Manter e do Work Saved over Sampling at Recall R (WSS@R). Os resultados indicam que Gemini, Claude e Qwen apresentaram concordância moderada com a classificação de referência humana, enquanto o Llama apresentou desempenho mais fraco e maior tendência de incluir trabalhos. O Gemini obteve o melhor resultado como pré-filtro, com recall de Manter de 100% e WSS@R de 31,9%. Conclui-se que LLMs podem apoiar a triagem preliminar e reduzir a carga de leitura, desde que utilizados sob supervisão humana. | |
| Identificador persistente | https://doi.org/10.59289/0p6r9803 | |
| URL da página da instituição | https://www.ibict.br | |
| Identificador ROR | https://ror.org/006c42y96 | |
| URI | https://ridi.ibict.br/handle/123456789/1521 | |
| Publicação original | https://enancib.ancib.org/enancib/pt_BR/article/view/2942 | |
| Página do evento | https://enancib2026.com.br/ | |
| Área de conhecimento CNPq | Ciência da informação | |
| Idioma | Português | |
| Instituição | Instituto Brasileiro de Informação em Ciência e Tecnologia | |
| País | Brasil | |
| Título do evento | 2026: XXVI ENCONTRO NACIONAL DE PESQUISA E PÓS-GRADUAÇÃO EM CIÊNCIA DA INFORMAÇÃO | |
| Sigla da instituição | Ibict | |
| Natureza jurídica da instituição | Instituição pública | |
| Tipo da instituição | Instituto de pesquisa | |
| Tipo de acesso | Acesso aberto | |
| Palavra Chave | Recuperação da informação | |
| Palavra Chave | Revisão de literatura | |
| Palavra Chave | Inteligência artificial | |
| Palavra Chave | Modelos de linguagem | |
| Título | Efetividade de um método assistido por LLMs como apoio à triagem de trabalhos em revisão de literatura | |
| Titúlo Alternativo | Effectiveness of an LLM-assisted method for supporting study screening in literature reviews | |
| Tipo | Trabalho apresentado em evento |
Arquivos
Pacote original
1 - 1 de 1
Carregando...
- Nome:
- Efetividade de um método assistido por LLMs como apoio à triagem de trabalhos em revisão de literatura.pdf
- Tamanho:
- 557,13 KB
- Formato:
- Adobe Portable Document Format