基于反事实监督的信息瓶颈用于分布外泛化
机器学习
2023-02-01 v3
摘要
学习不变（因果）特征以实现分布外（OOD）泛化近来受到广泛关注，其中不变风险最小化（IRM）是一个引人注目的解决方案。尽管 IRM 在线性回归中具有理论上的前景，但在线性分类问题中使用 IRM 的挑战仍然存在。通过将信息瓶颈（IB）原理引入 IRM 的学习中，IB-IRM 方法已展现出解决这些挑战的能力。在本文中，我们从两个方面进一步改进 IB-IRM。首先，我们指出 IB-IRM 中用于保证 OOD 泛化的不变特征支撑重叠这一关键假设过强，且即使没有该假设仍有可能获得最优解。其次，我们阐明了 IB-IRM（及 IRM）在学习不变特征时可能失败的两种模式，并针对此类失败提出了一种可证明恢复不变特征的\textit{基于反事实监督的信息瓶颈（CSIB）}学习算法。通过要求反事实推断，CSIB 即使在仅能访问单一环境数据时也能工作。在多个数据集上的实证实验验证了我们的理论结果。
引用
@article{arxiv.2208.07798,
title = {Counterfactual Supervision-based Information Bottleneck for Out-of-Distribution Generalization},
author = {Bin Deng and Kui Jia},
journal= {arXiv preprint arXiv:2208.07798},
year = {2023}
}
备注
Theoretical Understanding of OOD Generalization