Douglas Castro da Silva é o novo mestre em Engenharia de Sistemas e Computação, da linha de Engenharia de Dados e Conhecimento, orientado pelo prof. Geraldo Xexéo
Informações:
Título
Desempenho de Modelos de Linguagem para Classificação de Fake News
Data da defesa
30/6/2025
Resumo
Esta dissertação investiga a relação de custo-benefício de grandes modelos de linguagem (LLMs) na tarefa de detecção de fake news, no contexto do projeto interdisciplinar “Inteligência Artificial para Detecção Precoce de Fake News”. Inicialmente concebido para analisar dados em tempo real da plataforma Twitter (atualmente X), o projeto foi redirecionado para o uso de bases de dados pré-existentes devido a mudanças na política de acesso da plataforma. O estudo avalia diversos LLMs disponíveis na AWS, aplicando-os em múltiplas bases de notícias falsas e explorando diferentes estratégias de prompt engineering e técnicas de ajuste fino.
Três questões principais norteiam esta pesquisa: (i) LLMs são capazes de identificar fake news de forma confiável? (ii) Como seu desempenho se compara aos métodos tradicionais do estado da arte? (iii) Qual é a relação entre o tamanho do modelo, a acurácia e o custo operacional? Para apoiar essa análise, propõe-se uma nova métrica chamada PoC-score (Performance over Cost), que quantifica a eficiência de cada modelo relacionando seu F1-score ao custo por hora de operação.
Os resultados mostram que os LLMs apresentam bom desempenho em conjuntos de dados com conteúdo mais rico e estruturado, como notícias sobre COVID-19, mas enfrentam limitações em bases mais ambíguas ou ruidosas, como LIAR e PolitiFact. Embora modelos maiores tendam a obter acurácia ligeiramente superior, seu custo cresce de forma desproporcional, tornando modelos menores com ajuste fino — como o Gemma-7B — mais atrativos em cenários reais. Em suma, os experimentos demonstram que os LLMs são ferramentas promissoras para a detecção de fake news, mas sua adoção deve considerar as características do domínio, as restrições computacionais e os objetivos da aplicação.