基于充分必要原因概率的不变学习
机器学习
2024-05-13 v5 人工智能
计算机视觉与模式识别
摘要
分布外（OOD）泛化对于在真实环境中学习模型不可或缺，其中测试分布通常未知且与训练分布不同。近来源于因果的方法在实现 OOD 泛化方面展现出巨大潜力。然而，现有方法主要关注原因的不变性属性，而很大程度上忽视了充分性与必要性条件的属性。即，必要但不充分的原因（特征）对分布偏移不变，但可能达不到所需精度；相反，充分但不必要的原因（特征）倾向于较好拟合特定数据，但可能存在不适应新领域的风险。为捕获充分与必要原因的信息，我们采用经典概念——充分必要原因概率（PNS），其指示某因素是否为充分必要原因的概率。为将 PNS 与 OOD 泛化关联，我们提出 PNS 风险并构建算法以学习具有高 PNS 值的表示。我们从理论上分析并证明了 PNS 风险的泛化性。在合成与真实世界基准上的实验表明了所提方法的有效性。实现细节见 GitHub 仓库：https://github.com/ymy4323460/CaSN。
引用
@article{arxiv.2309.12559,
title = {Invariant Learning via Probability of Sufficient and Necessary Causes},
author = {Mengyue Yang and Zhen Fang and Yonggang Zhang and Yali Du and Furui Liu and Jean-Francois Ton and Jianhong Wang and Jun Wang},
journal= {arXiv preprint arXiv:2309.12559},
year = {2024}
}