科学观点摘要:论文元评审生成数据集、方法与评测
计算与语言
2024-06-18 v3
摘要
科研论文中的观点可能存在分歧,导致审稿人之间的争议。然而,现有大多数观点摘要数据集以产品评论为中心,并假设所分析观点无争议,未能考虑学术论文、政治辩论或社交媒体讨论等其他语境中的差异性。为弥补这一空白,我们提出科学观点摘要任务,将论文审稿意见综合为元评审。为支持该任务,我们引入了 ORSUM 数据集,涵盖来自 47 个会议的 15,062 篇论文元评审与 57,536 篇论文审稿意见。此外,我们提出清单引导的迭代内省方法,将科学观点摘要分解为若干阶段,在清单问题引导下迭代精炼摘要。我们的实验表明:(1)人工撰写的摘要并非总能满足深度讨论、识别特定领域共识与争议等必要标准;(2)任务分解与迭代自精炼的结合展现出增强观点的强大潜力,并可应用于使用黑盒 LLM 的其他复杂文本生成。
引用
@article{arxiv.2305.14647,
title = {Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation},
author = {Qi Zeng and Mankeerat Sidhu and Ansel Blume and Hou Pong Chan and Lu Wang and Heng Ji},
journal= {arXiv preprint arXiv:2305.14647},
year = {2024}
}
备注
IJCAI 2024 AI4Research Workshop