SciRIFF：用于增强科学文献语言模型指令遵循的数据集
计算与语言
2025-09-30 v4 人工智能
摘要
我们提出 SciRIFF（Scientific Resource for Instruction-Following and Finetuning），一个包含 13.7 万条指令跟随实例的数据集，用于训练和评估，覆盖 54 项任务。这些任务涵盖五大核心科学文献理解能力：信息抽取、摘要生成、问答、 claim 验证和分类。SciRIFF 的独特之处在于其完全由专家编写，具有高质量的指令跟随数据集，可用于从各类科学领域的研究文献中提取和综合信息。它特色在于包含复杂指令、长输入上下文、详细任务描述和结构化输出。为展示其实用性，我们使用 SciRIFF 和通用领域指令混合进行大型语言模型（LLM）微调。在九个离分布测试任务（称为 SciRIFF-Eval）上，基于 SciRIFF 微调的 LLM 相对于仅使用通用指令训练的基线模型实现了 70.6% 的平均性能提升。SciRIFF 促进了 LLM 的开发与评估，帮助研究人员有效地导航日益庞大的科学文献。
引用
@article{arxiv.2406.07835,
title = {SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature},
author = {David Wadden and Kejian Shi and Jacob Morrison and Alan Li and Aakanksha Naik and Shruti Singh and Nitzan Barzilay and Kyle Lo and Tom Hope and Luca Soldaini and Shannon Zejiang Shen and Doug Downey and Hannaneh Hajishirzi and Arman Cohan},
journal= {arXiv preprint arXiv:2406.07835},
year = {2025}
}
备注
Presented at EMNLP 2025