一种用于归一化特征分布以构建无混杂因子模型的惩罚方法
机器学习
2022-07-12 v1 计算机视觉与模式识别
摘要
将机器学习算法转化为临床应用需应对可解释性相关挑战，例如考量混杂变量（或元数据）的影响。混杂变量影响输入训练数据与目标输出间的关系。当我们在此类数据上训练模型时，混杂变量会偏置所学特征的分布。近期一种有前景的方案——元数据归一化（MDN），基于不可训练的闭式解估计元数据与每个特征间的线性关系。然而，该估计受限于小批量的样本量，从而可能导致该方法在训练中不稳定。本文中，我们通过应用一种惩罚方法（记作PDMN）扩展了MDN方法。我们将问题表述为双层嵌套优化问题，随后使用惩罚法近似该优化问题，使MDN层内的线性参数可训练且基于全部样本学习。这使得PMDN可插入任意架构，即便是那些不适合执行批量级操作（如transformers与循环模型）的架构。我们在合成实验及多标签多站点磁共振图像（MRIs）数据集上表明，相较MDN，使用PMDN在模型精度与对混杂因子更高独立性方面均有提升。
引用
@article{arxiv.2207.04607,
title = {A Penalty Approach for Normalizing Feature Distributions to Build Confounder-Free Models},
author = {Anthony Vento and Qingyu Zhao and Robert Paul and Kilian M. Pohl and Ehsan Adeli},
journal= {arXiv preprint arXiv:2207.04607},
year = {2022}
}