评估实体匹配中的分块偏差
机器学习
2024-09-26 v1 数据库
摘要
实体匹配（Entity Matching, EM）对于识别不同来源中的等价数据实体至关重要，而随着数据规模和异构性的增长，这项任务变得日益具有挑战性。分块技术降低了EM的计算复杂度，在使该过程具备可扩展性方面发挥着关键作用。尽管分块方法取得了进展，但公平性问题，即分块可能无意中偏向某些特定人口群体，却在很大程度上被忽视了。本研究扩展了传统的分块指标以纳入公平性，提供了一个评估分块技术偏差的框架。通过实验分析，我们评估了各种分块方法的有效性和公平性，深入探讨了其潜在偏差。我们的研究结果强调了在EM中考虑公平性的重要性，特别是在分块阶段，以确保数据集成任务中的公平结果。
引用
@article{arxiv.2409.16410,
title = {Evaluating Blocking Biases in Entity Matching},
author = {Mohammad Hossein Moslemi and Harini Balamurugan and Mostafa Milani},
journal= {arXiv preprint arXiv:2409.16410},
year = {2024}
}