文献综述的组成部分建模与分类

以往的研究表明，针对论文中的句子按其修辞角色（如研究空白、结果、局限性、对现有方法的延伸等）进行注释，能显著提升分析科学文献的 AI 方法的效果。这种表示形式也有潜力支持开发下一代能够产生高质量文献综述的系统。然而，实现这一目标需要定义相关的注释方案以及大规模注释的有效策略。本文通过两种方式来解决这些挑战：1) 引入一种新型、无歧义的注释方案，显式设计用于可靠的自动处理；2) 对广泛的大型语言模型 (LLM) 在依据此方案对修辞角色进行分类任务进行全面评估。为此，我们还提出了 Sci-Sentence，一个新型的多学科基准数据集，包含 700 句由领域专家手动注释的句子，以及 2,240 句使用 LLM 自动标注的句子。我们在此基准上评估了 37 个 LLM，涵盖多样的模型家族和规模，使用零样本学习和 fine-tuning 两种方法。实验结果表明，现代 LLM 在以高质量数据进行 fine-tuning 时在此任务上取得优异成绩，超过 96% 的 F1 分数，无论是大型专有模型如 GPT-4o 还是轻量级开源替代方案都表现良好。此外，通过引入半合成的 LLM 生成示例进一步提升了训练集的性能，使小型编码器能够实现稳健的成绩，并显著改进了多个开放解码器模型。