存在由 nuisance 变量诱导的伪相关时的分布外泛化
机器学习
2023-02-14 v5 机器学习
摘要
在许多预测问题中，伪相关是由标签与同样与协变量相关的 nuisance 变量之间变化的关系所诱导的。例如，在自然图像中动物分类时，作为 nuisance 的背景可以预测动物类型。这种 nuisance-标签关系并非总是成立，且在这种关系下训练的模型在具有不同 nuisance-标签关系的数据上表现可能很差。为了构建无论 nuisance-标签关系如何都表现良好的预测模型，我们提出了 Nuisance-Randomized Distillation（NURD，nuisance 随机化蒸馏）。我们引入了 nuisance 随机化分布，即 nuisance 与标签独立的一种分布。在此分布下，我们定义了一组表示，使得以其中任一成员为条件时，nuisance 与标签保持独立。我们证明该集合中的表示始终优于随机猜测，而该集合之外的表示则可能不然。NURD 从该集合中寻找在 nuisance 随机化分布下对标签最具信息量的表示，并证明该表示无论 nuisance-标签关系如何都取得最高性能。我们在多个任务上评估了 NURD，包括胸部 X 光分类，其中使用非肺区域块作为 nuisance，NURD 在强伪相关下生成了预测肺炎的模型。
引用
@article{arxiv.2107.00520,
title = {Out-of-distribution Generalization in the Presence of Nuisance-Induced Spurious Correlations},
author = {Aahlad Puli and Lily H. Zhang and Eric K. Oermann and Rajesh Ranganath},
journal= {arXiv preprint arXiv:2107.00520},
year = {2023}
}