Chroma-VAE：利用生成式分类器缓解捷径学习
机器学习
2022-11-29 v1
摘要
深度神经网络容易受到捷径学习的影响，即使用简单特征来达到低训练损失，而未能发现必要的语义结构。与先前的观点相反，我们表明，尽管生成模型有动力恢复比判别式方法更全面的数据表示，但仅靠生成模型本身并不足以防止捷径学习。然而，我们观察到捷径优先以最小信息进行编码，生成模型可以利用这一事实来缓解捷径学习。特别是，我们提出了Chroma-VAE，这是一种双管齐下的方法，首先训练一个VAE分类器将捷径隔离在一个小的潜在子空间中，从而允许在互补的、无捷径的潜在子空间上训练一个次级分类器。除了在基准和真实世界的捷径学习任务上展示Chroma-VAE的有效性之外，我们的工作还突显了操纵生成式分类器的潜在空间以隔离或解释特定相关性的潜力。
引用
@article{arxiv.2211.15231,
title = {Chroma-VAE: Mitigating Shortcut Learning with Generative Classifiers},
author = {Wanqian Yang and Polina Kirichenko and Micah Goldblum and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:2211.15231},
year = {2022}
}
备注
Presented at the 36th Conference on Neural Information Processing Systems (NeurIPS 2022)