面向作者身份验证的跨主题评估中的主题泄漏问题
计算与语言
2024-07-30 v1
摘要
作者身份验证（AV）旨在识别一对文本是否由同一作者所撰写。我们针对评估 AV 模型对主题偏移的鲁棒性所作的挑战。常规评估假设训练数据与测试数据之间主题重叠最小。然而我们认为测试数据中仍可能存在主题泄漏，导致模型性能误导且排名不稳定。为此，我们提出一种称为 Heterogeneity-Informed Topic Sampling（HITS）的评估方法，通过构建小规模数据集并采用异构分布的主题集合来实现此目标。我们的实验结果表明，HITS 采样后的数据集在随机种子和评估划分之间为模型排名提供了更稳定的表现。我们的贡献包括：1. 对主题泄漏的原因与影响进行分析；2. 展示 HITS 在降低主题泄漏影响方面的作用；以及3. 提出面向鲁棒作者身份验证的基准数据集（RAVEN），该数据集允许进行主题捷径测试以揭示 AV 模型对特定主题特征的依赖。
引用
@article{arxiv.2407.19164,
title = {Addressing Topic Leakage in Cross-Topic Evaluation for Authorship Verification},
author = {Jitkapat Sawatphol and Can Udomcharoenchaikit and Sarana Nutanong},
journal= {arXiv preprint arXiv:2407.19164},
year = {2024}
}
备注
Accepted to publish at Transactions of the Association for Computational Linguistics