LLM 能否预测引文意图？基于开源 LLM 的 in-context 学习与微调实验分析
计算与语言
2025-11-17 v3 数字图书馆
摘要
本工作考察了开源大型语言模型（LLM）通过 in-context 学习和微调预测引文意图的能力。不同于依赖领域特定预训练模型（如 SciBERT）的传统方法，我们展示了通用型 LLM 可通过最小的任务特定数据进行适应。我们评估了十二种模型变体在五大主要开源 LLM 系列中使用零-shot、one-shot、few-shot 和 many-shot 提示。我们的实验研究通过广泛的 in-context 学习实验识别了最佳模型和提示参数。随后，我们展示了通过微调该模型对任务特定适应的显著影响，相较于 instruction-tuned 基线实现了在 SciCite 数据集上 F1 分数提升 8%，在 ACL-ARC 数据集上提升 4.3%。这些发现为模型选择和提示工程提供了有价值的见解。此外，我们将我们的端到端评估框架和模型公开可用，以供未来使用。
引用
@article{arxiv.2502.14561,
title = {Can LLMs Predict Citation Intent? An Experimental Analysis of In-context Learning and Fine-tuning on Open LLMs},
author = {Paris Koloveas and Serafeim Chatzopoulos and Thanasis Vergoulis and Christos Tryfonopoulos},
journal= {arXiv preprint arXiv:2502.14561},
year = {2025}
}
备注
Accepted for publication on TPDL 2025