WiC-TSV：面向上下文中词语目标义项验证的评测基准
计算与语言
2021-01-29 v3
摘要
我们提出 WiC-TSV，一个用于词义消歧的多领域评测基准。更具体地，我们引入一种面向上下文中词语目标义项验证（Target Sense Verification）的框架，其独特性在于将任务定义为二分类问题，从而独立于外部义项词典，并覆盖多个领域。这使得该数据集在领域内及跨领域的多样化模型与系统评测中极具灵活性。WiC-TSV 根据提供给模型的输入信号提供三种不同的评测设置。我们使用最先进的语言模型在该数据集上设定了基线表现。实验结果表明，尽管这些模型在该任务上表现尚可，但机器与人类表现之间仍存在差距，尤其在领域外设置中。WiC-TSV 数据可从 https://competitions.codalab.org/competitions/23683 获取。
引用
@article{arxiv.2004.15016,
title = {WiC-TSV: An Evaluation Benchmark for Target Sense Verification of Words in Context},
author = {Anna Breit and Artem Revenko and Kiamehr Rezaee and Mohammad Taher Pilehvar and Jose Camacho-Collados},
journal= {arXiv preprint arXiv:2004.15016},
year = {2021}
}
备注
Accepted to EACL 2021. Reference paper of the SemDeep WiC-TSV challenge: https://competitions.codalab.org/competitions/23683