迈向真实世界去偏：重新思考评估、挑战与解决方案

训练数据中的虚假相关性严重阻碍了机器学习模型在面临分布偏移时的泛化能力，从而催生了许多去偏方法。然而，仍然需要问：现有的去偏基准真的代表了现实世界中的偏差吗？最近的工作试图通过根据某些预定义的偏态分布从真实世界数据中采样（而非合成）来解决这些问题，以确保单个样本的真实性。然而，由于现实世界偏差分布的复杂性，偏态分布的真实性更为关键，但也更具挑战性且尚未得到充分探索。为了解决这个问题，我们提出了一个用于分析偏态分布的细粒度框架，基于该框架，我们经验性和理论性地识别了现有基准中未能很好表征的现实世界偏态分布的关键特征。为了在现实世界中实现可应用的去偏，我们进一步引入了两种新颖的受现实世界启发的偏差来弥合这一差距，并构建了一个用于现实世界去偏的系统评估框架RDBench。此外，针对无偏差标签的去偏实际设置，我们发现现实世界的偏差对现有范式提出了一个新颖的“稀疏偏差捕获”挑战。我们提出了一种简单而有效的方法，名为“破坏中去偏”（DiD），以应对这一挑战，其有效性通过在8个不同偏态分布数据集上的大量实验得到了验证。