NovAScore：用于评估文档级新颖性的新型自动化指标
计算与语言
2024-09-19 v2
摘要
在线内容的快速扩张加剧了信息冗余问题，凸显了识别真正新信息需求。尽管面临这样的挑战，研究社区对新颖性检测的关注度却呈下降趋势，尤其是随着大型语言模型(LLM)的兴起。此外，先前的方法高度依赖人工标注，这既耗时又昂贵，尤其难以在标注者必须将目标文档与大量历史文档进行比较时进行操作。本文引入NovAScore(原子评分中的新颖性评估)，用于评估文档级新颖性的自动化指标。NovAScore聚合了原子信息的新颖性和显著性得分，具备高可解释性和对文档新颖性的详细分析能力。凭借其动态权重调整方案，NovAScore提供了增强的灵活性，为评估文档的新颖性水平和信息重要性提供了额外维度。我们的实验表明，NovAScore与人类新颖性判断高度相关，在TAP-DLND 1.0数据集上实现0.626的点-双半相关，在内部人工标注数据集上实现0.920的皮尔逊相关。
引用
@article{arxiv.2409.09249,
title = {NovAScore: A New Automated Metric for Evaluating Document Level Novelty},
author = {Lin Ai and Ziwei Gong and Harshsaiprasad Deshpande and Alexander Johnson and Emmy Phung and Ahmad Emami and Julia Hirschberg},
journal= {arXiv preprint arXiv:2409.09249},
year = {2024}
}