诊断与纠正虚假 OOD 不变性：一种重构因果方法
机器学习
2023-12-18 v1 人工智能
统计方法学
摘要
不变表示学习（IRL）鼓励从不变因果特征到标签的预测去混杂于环境，推动了分布外（OOD）泛化的技术路线。尽管备受关注，近期理论结果证实，IRL 恢复的一些因果特征仅在训练环境中伪装为域不变的，但在未见域中失效。这种虚假不变性严重危及 OOD 泛化，因为可信目标无法被诊断，且现有的因果修复方法无法有效纠正。本文分别在部分信息不变特征结构因果模型（PIIF SCM）和完全信息不变特征结构因果模型（FIIF SCM）下审视 IRL 家族（InvRat），以证明其在表示虚假不变特征方面的缺陷，随后统一它们的因果图，提出重构结构因果模型（RS-SCM）。RS-SCM 能够理想地同时重建虚假特征和虚假不变特征。鉴于此，我们进一步开发了一种基于 RS-SCM 的条件互信息方法，从而严格纠正虚假和虚假不变效应。该方法可通过在 IRL 家族中引入一个小型特征选择子网轻松实现，并通过交替优化来达成目标。实验验证了本方法在多种 OOD 泛化基准上对抗虚假不变问题的优越性。
引用
@article{arxiv.2312.09758,
title = {Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach},
author = {Ziliang Chen and Yongsen Zheng and Zhao-Rong Lai and Quanlong Guan and Liang Lin},
journal= {arXiv preprint arXiv:2312.09758},
year = {2023}
}
备注
AAAI-2024