基于递归特征归一化的无混杂持续学习
机器学习
2025-08-07 v2 计算机视觉与模式识别
摘要
混杂变量是同时影响输入和目标的外显变量，导致虚假关联和偏置预测。在传统模型中，已有针对处理或消除混杂变量的最新进展，例如基于元数据归一化（MDN），通过根据研究混杂变量调整所学特征分布来实现归一化。然而，在持续学习的上下文中，即模型能够在不遗忘的情况下持续从新数据中学习，保持对混杂变量不变的特征表示的挑战仍然突出。为消除其对中间特征表示的影响，我们引入了递归 MDN（R-MDN）层，可集成到任何深度学习架构中，包括视觉 Transformer，以及任意模型阶段。R-MDN 通过递归最小二乘算法执行统计回归，以维持和持续更新内部模型状态，以应对数据和混杂变量分布的变化。我们的实验表明，R-MDN 在静态学习以及持续学习的不同阶段，通过减少因混杂变量随时间变化而导致的灾难性遗忘，促进了跨人口组的公平预测。
引用
@article{arxiv.2507.09031,
title = {Confounder-Free Continual Learning via Recursive Feature Normalization},
author = {Yash Shah and Camila Gonzalez and Mohammad H. Abbasi and Qingyu Zhao and Kilian M. Pohl and Ehsan Adeli},
journal= {arXiv preprint arXiv:2507.09031},
year = {2025}
}