中文

我们应当迁移何种不变性?一种因果极小极大学习方法

机器学习 2023-05-31 v5 机器学习

摘要

当前机器学习模型部署的一大障碍在于其对数据集偏移的非可靠性。为解决此问题,多数现有研究试图将稳定信息迁移至未见环境。特别地,基于独立因果机制的方法提出通过 do-算子移除可变的因果机制。与先前方法相比,所获得的稳定预测子在识别稳定信息方面更为有效。然而,一个关键问题仍然存在:为了实现最优泛化能力,模型应当迁移该全部稳定信息中的哪个子集?为回答此问题,我们从因果视角给出了全面的极小极大分析。具体而言,我们首先给出了整个稳定集为最优时的图条件。当该条件不满足时,我们借助一个例子惊讶地发现,该整个稳定集虽能充分利用稳定信息,却并非最优的迁移子集。为识别此情形下的最优子集,我们提出在可变因果机制的干预函数上以一种新的优化方案估计最坏情况风险。随后,基于新定义的稳定子集间的等价关系,我们提出一种高效算法以搜索具有最小最坏情况风险的子集。与对所有子集穷举搜索的指数级代价相比,我们的搜索策略具有多项式复杂度。我们的方法在合成数据及阿尔茨海默病诊断上的有效性与高效性得到了验证。

关键词

引用

@article{arxiv.2107.01876,
  title  = {Which Invariance Should We Transfer? A Causal Minimax Learning Approach},
  author = {Mingzhou Liu and Xiangyu Zheng and Xinwei Sun and Fang Fang and Yizhou Wang},
  journal= {arXiv preprint arXiv:2107.01876},
  year   = {2023}
}

备注

Accepted version of ICML-23