Comparação entre Random Forest e LLMs via Prompt para classificação de atos administrativos em Diário Oficial
Keywords:
Auditoria Governamental, Diário oficial, Inovação no Controle Externo, Inteligência Artificial, Random Forest, Large Language Models (LLM), Transformação digitalAbstract
O trabalho compara o desempenho do método Random Forest e de Large Language Models (LLMs) via Microsoft Copilot na classificação de atos administrativos em Diários Oficiais. Utilizando a mesma base de 3.501 parágrafos, o LLM alcançou acurácia de 99,37%, superando levemente o Random Forest (98,96%), com menor esforço técnico e maior acessibilidade. A pesquisa destaca a viabilidade de LLMs para auditoria pública, promovendo inovação e transformação digital. O estudo discute ainda aspectos práticos, limitações e potencial de expansão da abordagem para outras tarefas de controle externo.
References
AMARAL, Wellington Souza; SANTOS, Gustavo Alexandre Sousa; SILVA, Eduardo Bezerra da; LIMA, Leonardo Silva de; ALMEIDA, Augusto César Benvenuto de. Desenvolvimento de uma metodologia para a coleta e identificação de atos administrativos de interesse nos Diários Oficiais dos jurisdicionados do Tribunal de Contas do Estado do Rio de Janeiro (TCE-RJ). Revista Síntese, Rio de Janeiro, aceito para publicação em 2025, no prelo.
BREIMAN, L., Friedman, J., Olshen, R.A., & Stone, C.J. (1984). Classification and Regression Trees (1st ed.). Chapman and Hall/CRC. https://doi.org/10.1201/9781315139470.
BREIMAN, L. Random Forests. Machine Learning 45, 5–32. 2001. https://doi.org/10.1023/A:1010933404324.
K. Constantino, V. A. L. Cruz, O. M. Zucheratto, C. França, M. Carvalho, T. H. Silva, A. H. Laender, and M. A. Gonçalves. Segmentação e classificação semântica de trechos de diários oficiais usando aprendizado ativo. In Anais do XXXVII Simpósio Brasileiro de Bancos de Dados, pages 304–316. SBC, 2022.
DEVLIN J., CHANG M., LEE K., and TOUTANOVA K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, 2019. Minneapolis, Minnesota. Association for Computational Linguistics.
OKBR (Open Knowledge Brasil). Sobre o Querido Diário. [S.l.: s.n.], 2024. Disponível em: https://queridodiario.ok.org.br/sobre.
PEDREGOSA, F. et al. Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research, v. 12, p. 2825-2830, 2011.
F. A. S. PINTO, E. H. Haeusler, and S. Lifschitz. Transparência pública automatizada a partir da gramática do diário oficial. Anais do Workshop de Computação Aplicada em Governo Eletrônico (WCGE 2021), 2021. URL https://api.semanticscholar.org/CorpusID:237674517.
SANH, V., DEBUT, L., CHAUMOND, J., & WOLF, T. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. 2019. arXiv preprint arXiv:1910.01108.
