NLP 中新颖性检测与接纳的统一评估框架及其在作者身份归属中的实例化
计算与语言
2023-05-10 v1
摘要
最先进的自然语言处理模型已在“封闭世界”设定中展现出卓越性能，即评估集中的所有标签在训练时均已知。然而，在真实世界设定中，常观察到不属于任何已知类别的“新颖”实例。这使得处理新颖性的能力至关重要。为在这一重要的“处理新颖性”领域发起系统性研究，我们引入“NoveltyTask”，一项用于评估系统在流水线式新颖性“检测”与“接纳”任务上性能的多阶段任务。我们给出 NoveltyTask 的数学表述，并以作者身份归属任务（即识别给定文本的正确作者）对其进行实例化。我们使用 Amazon 评论语料库并编译了一个用于 NoveltyTask 的大型数据集（包含跨 200 位作者/标签的 250k 实例）。我们开展了综合实验并探索了该任务的若干基线方法。我们的结果表明这些方法取得了相当低的性能，使该任务具有挑战性并留有充分改进空间。最后，我们相信我们的工作将鼓励这一未被充分探索的处理新颖性领域的研究，是迈向开发鲁棒系统的重要一步。
引用
@article{arxiv.2305.05079,
title = {A Unified Evaluation Framework for Novelty Detection and Accommodation in NLP with an Instantiation in Authorship Attribution},
author = {Neeraj Varshney and Himanshu Gupta and Eric Robertson and Bing Liu and Chitta Baral},
journal= {arXiv preprint arXiv:2305.05079},
year = {2023}
}
备注
Findings of ACL 2023