面向深度模型所学特征表示的因果感知反事实混杂校正
机器学习
2020-11-23 v4 机器学习
摘要
因果建模已被认为是解决机器学习（ML）中诸多挑战性问题的潜在方案。在此，我们描述近期提出的、用于去混杂线性结构因果模型的反事实方法，如何仍可用于去混杂深度神经网络（DNN）模型所学的特征表示。关键洞见在于：通过使用 softmax 激活在分类层训练精确的 DNN，继而采用输出层之前最后一层所学的表示作为我们的特征，则按构造，所学特征将很好地拟合（多类）逻辑回归模型，并与标签呈线性关联。因此，基于简单线性模型的去混杂方法可用于去混杂 DNN 所学的特征表示。我们使用 MNIST 数据集的彩色版本验证了所提方法。我们的结果说明了该方法如何有效对抗混杂，并在由选择偏差产生的数据集偏移情形下提升模型稳定性。
引用
@article{arxiv.2004.09466,
title = {Causality-aware counterfactual confounding adjustment for feature representations learned by deep models},
author = {Elias Chaibub Neto},
journal= {arXiv preprint arXiv:2004.09466},
year = {2020}
}