大型语言模型在自动化科学文本分类中的效果
计算与语言
2025-02-25 v1 数字图书馆
机器学习
摘要
大型语言模型（LLM）的快速发展导致了大量应用机会。信息检索系统的一个传统任务是文本的摘要和分类，这两种任务对于支持人们在大型文献库（例如科学出版物）中导航至关重要。由于快速增长的科学知识量，最近的研究致力于构建不仅提供传统关键词搜索功能，还提供如自动检测知识密集型组织（如大学和企业）中存在的研究领域等新特性的研究信息系统。为实现这一目标，我们评估了各种大型语言模型在将科学出版物排序到分层分类系统中的能力。我们使用 FORC 数据集作为真实数据，发现最新的大型语言模型（如 Meta Llama 3.1）能够达到最高达 0.82 的准确率，这比传统的 BERT 模型高出最高可达 0.08。
引用
@article{arxiv.2502.15745,
title = {On the Effectiveness of Large Language Models in Automating Categorization of Scientific Texts},
author = {Gautam Kishore Shahi and Oliver Hummel},
journal= {arXiv preprint arXiv:2502.15745},
year = {2025}
}