OTClean：利用最优传输处理条件独立性违规的数据清洗
机器学习
2024-03-06 v1 人工智能
数据库
摘要
确保条件独立性（CI）约束对于开发公平且可信的机器学习模型至关重要。在本文中，我们介绍了\sys，这是一个利用最优传输理论在 CI 约束下进行数据修复的框架。最优传输理论为测量概率分布之间的差异提供了严格的框架，从而确保了对数据效用的控制。我们将涉及 CI 的数据修复问题 formulat 为二次约束线性规划（QCLP），并提出了一种交替求解方法。然而，由于计算最优传输距离（如 Wasserstein 距离）相关的计算成本，这种方法面临可扩展性问题。为克服这些可扩展性挑战，我们将问题重构为正则化优化问题，使我们能够开发一种受 Sinkhorn 矩阵缩放算法启发的迭代算法，从而高效处理高维和大规模数据。通过大量实验，我们证明了所提方法的有效性和效率，展示了其在现实世界数据清洗和预处理任务中的实用价值。此外，我们提供了与传统方法的比较，突出了我们的技术在确保遵守所需 CI 约束的同时保留数据效用方面的优越性。
引用
@article{arxiv.2403.02372,
title = {OTClean: Data Cleaning for Conditional Independence Violations using Optimal Transport},
author = {Alireza Pirhadi and Mohammad Hossein Moslemi and Alexander Cloninger and Mostafa Milani and Babak Salimi},
journal= {arXiv preprint arXiv:2403.02372},
year = {2024}
}