针对科学文本分类的大语言模型微调：比较研究
计算与语言
2025-09-09 v2
摘要
在网络文本内容呈指数级增长的多样化领域，亟需先进的自动文本分类方法。基于Transformer架构的大语言模型（LLM）在该领域已在自然语言处理（NLP）任务中显示出显著的成功。然而，通用型LLM在处理领域特定内容时常常难以胜任，例如科学文本，由于专有词汇和数据不平衡等独特挑战。本研究对四个最先进的LLM（BERT、SciBERT、BioBERT和BlueBERT）在三个源自WoS-46985数据集的任务上进行微调，以评估其在科学文本分类中的性能。我们的实验表明，领域特定模型，特别是SciBERT，在基于摘要和基于关键词的分类任务中均优于通用模型。此外，我们将所取得的结果与文献中深度学习模型的结果进行比较，进一步凸显了LLM的优势，尤其是在特定领域应用时。研究结果强调了针对LLM进行领域特定适应的重要性，以提升其在专业文本分类任务中的效果。
引用
@article{arxiv.2412.00098,
title = {Fine-Tuning Large Language Models for Scientific Text Classification: A Comparative Study},
author = {Zhyar Rzgar K Rostam and Gábor Kertész},
journal= {arXiv preprint arXiv:2412.00098},
year = {2025}
}
备注
6 pages, 3 figures, 7 tables