WDC Products：一个多维实体匹配基准
机器学习
2023-07-03 v2
摘要
实体匹配任务的难度取决于多个因素的组合，例如边角案例对的数量、测试集中在训练期间未出现过的实体比例，以及开发集的大小。当前的实体匹配基准通常仅代表这些维度空间中的单个点，或者仅提供沿单一维度（例如训练数据量）对匹配方法的评估。本文提出 WDC Products，一个实体匹配基准，它基于真实世界数据，支持沿三个维度的组合对匹配系统进行系统评估。这三个维度是：(i) 边角案例的数量，(ii) 对未见实体的泛化能力，以及 (iii) 开发集大小（训练集加验证集）。对未见实体的泛化能力是现有任何英文基准均未涵盖的维度，但对于评估实体匹配系统的鲁棒性至关重要。除了学习如何匹配实体对外，实体匹配也可被表述为需要匹配器识别单个实体的多类分类任务。WDC Products 是首个提供相同任务的成对与多类表述的基准。我们使用多个最先进的匹配系统（包括 Ditto、HierGAT 和 R-SupCon）对 WDC Products 进行评估。评估表明，所有匹配系统在不同程度上都难以应对未见实体。评估还表明，对于实体匹配，对比学习相比交叉编码器具有更高的训练数据效率。
引用
@article{arxiv.2301.09521,
title = {WDC Products: A Multi-Dimensional Entity Matching Benchmark},
author = {Ralph Peeters and Reng Chiz Der and Christian Bizer},
journal= {arXiv preprint arXiv:2301.09521},
year = {2023}
}
备注
Accepted and to be published in Proceedings of EDBT 2024 (https://dastlab.github.io/edbticdt2024/)