现实对话实体链接需要超过零样本的方法
计算与语言
2024-09-04 v1 信息检索
摘要
实体链接（EL）在对话中面临实际应用中的诸多挑战，主要源于缺乏包含领域特定、长尾实体的对话数据集和稀疏的知识库（KB）。我们设计了针对性的评估场景，以衡量EL模型在资源受限情况下的效果。我们的评估采用两个知识库：Fandom，体现了现实世界的EL复杂性；以及广泛使用的Wikipedia。首先，我们评估了EL模型在Fandom上对新颖且不熟悉的知识库的泛化能力，同时基于我们基于Fandom实体讨论的Reddit话题构建的全新零样本对话实体链接数据集。随后，我们评估了EL模型在无需先验训练的情况下的对话环境适应性。我们的结果表明，当前的零样本EL模型在无需训练的情况下引入新型、特定领域的知识库时，性能会显著下降。我们的发现表明，现有的评估方法不足以捕捉零样本EL的现实世界复杂性，突显了为设计和评估适应资源受限环境的对话实体链接模型所必需的新方法。本研究提出的评估设置和数据集已公开可用。
引用
@article{arxiv.2409.01152,
title = {Real World Conversational Entity Linking Requires More Than Zeroshots},
author = {Mohanna Hoveyda and Arjen P. de Vries and Maarten de Rijke and Faegheh Hasibi},
journal= {arXiv preprint arXiv:2409.01152},
year = {2024}
}