用于特征偏移检测与校正的对抗学习
机器学习
2023-12-08 v1 人工智能
应用统计
机器学习
摘要
数据偏移是许多现实世界应用中存在的现象，尽管有多种方法试图检测偏移，但定位和校正导致此类偏移的特征这一任务尚未得到深入研究。特征偏移可能发生在许多数据集中，包括多传感器数据（其中某些传感器发生故障），或表格及结构化数据（包括生物医学、金融和调查数据，其中错误的标准化和数据处理流程可能导致错误特征）。在这项工作中，我们探索利用对抗学习原理，使用从多个训练用于区分两个分布的判别器中获得的信息，来检测损坏的特征并修复它们，以消除数据集之间的分布偏移。我们证明，主流监督分类器（如随机森林或梯度提升树）结合简单的迭代启发式方法，能够定位和校正特征偏移，其性能优于当前的统计和基于神经网络的技术。代码可在 https://github.com/AI-sandbox/DataFix 获取。
引用
@article{arxiv.2312.04546,
title = {Adversarial Learning for Feature Shift Detection and Correction},
author = {Miriam Barrabes and Daniel Mas Montserrat and Margarita Geleta and Xavier Giro-i-Nieto and Alexander G. Ioannidis},
journal= {arXiv preprint arXiv:2312.04546},
year = {2023}
}