弥合实体匹配现实与理想之间的鸿沟：重新审视与基准重构
计算与语言
2022-05-13 v1 人工智能
数据库
摘要
实体匹配（EM）是实体解析（ER）中最关键的一步。虽然当前基于深度学习的方法在标准 EM 基准上取得了令人印象深刻的性能，但它们在真实世界应用中的表现却令人沮丧。在本文中，我们指出这种现实与理想之间的鸿沟源于不合理的基准构建过程，该过程与实体匹配的本质不一致，从而导致对当前 EM 方法的偏倚评估。为此，我们构建了一个新的 EM 语料库并重构 EM 基准，通过逐步将先前基准中的受限实体、平衡标签和单模态记录改为开放环境中的开放实体、不平衡标签和多模态记录，来挑战先前基准构建过程中隐含的关键假设。实验结果表明，先前基准构建过程中所做的假设与开放环境并不吻合，其掩盖了该任务的主要挑战，因而显著高估了当前实体匹配的进展。所构建的基准和代码已公开发布。
引用
@article{arxiv.2205.05889,
title = {Bridging the Gap between Reality and Ideality of Entity Matching: A Revisiting and Benchmark Re-Construction},
author = {Tianshu Wang and Hongyu Lin and Cheng Fu and Xianpei Han and Le Sun and Feiyu Xiong and Hui Chen and Minlong Lu and Xiuwen Zhu},
journal= {arXiv preprint arXiv:2205.05889},
year = {2022}
}
备注
Accepted to IJCAI2022