异质性对不变性的隐式偏差：多环境矩阵感知研究
机器学习
2025-03-11 v4 最优化与控制
摘要
模型应参与不变性学习，即区分在不同环境中保持一致的核心关系，以确保预测安全、鲁棒和公平。现有工作考虑特定算法来实现不变性学习，而本文表明模型有可能通过标准训练过程学习不变性。换言之，本文研究了随机梯度下降在异质性数据上的隐式偏差，并表明该隐式偏差驱使模型学习趋向不变解。我们将此现象称为隐式不变性学习。具体而言，我们从理论上研究了多环境低秩矩阵感知问题，其中每个环境中的信号包含：(i) 所有环境共享的低秩不变部分；(ii) 显著变化的依赖于环境的虚假成分。关键洞察是，通过简单地在每个环境中顺序使用大步长大批量 SGD，而不进行任何显式正则化，由异质性引起的振荡可以证明地阻止模型学习虚假信号。模型在若干次迭代后达到不变解。相比之下，使用所有数据的池化 SGD 训练的模型会同时学习不变信号和虚假信号。总体而言，我们揭示了另一种隐式偏差，它是数据异质性与现代算法共生作用的结果，据我们所知，这在文献中尚属首次。
引用
@article{arxiv.2403.01420,
title = {The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing},
author = {Yang Xu and Yihong Gu and Cong Fang},
journal= {arXiv preprint arXiv:2403.01420},
year = {2025}
}