通过条件不变正则化器打破相关性偏移
机器学习
2023-02-27 v2
摘要
近年来，具有相关性偏移的分布外（OOD）数据泛化引起了广泛关注。相关性偏移由与类别标签相关的虚假属性引起，因为它们之间的相关性在训练数据和测试数据中可能不同。针对这一问题，我们证明了在给定类别标签的条件下，与虚假属性条件独立的模型具有 OOD 泛化能力。基于此，我们提出了一种度量条件虚假变异（CSV）来衡量这种条件独立性，该度量控制了 OOD 泛化误差。为了改善 OOD 泛化，我们使用所提出的 CSV 对训练过程进行正则化。在温和假设下，我们的训练目标可表述为一个非凸-凹极小极大问题。我们提出了一种具有可证明收敛速率的算法来求解该问题。大量实证结果验证了我们的算法在改善 OOD 泛化方面的有效性。
引用
@article{arxiv.2207.06687,
title = {Breaking Correlation Shift via Conditional Invariant Regularizer},
author = {Mingyang Yi and Ruoyu Wang and Jiachen Sun and Zhenguo Li and Zhi-Ming Ma},
journal= {arXiv preprint arXiv:2207.06687},
year = {2023}
}
备注
Published in ICLR-2023