深度生成模型是否知道它们不知道什么？
机器学习
2019-02-26 v3 机器学习
摘要
部署在真实环境中的神经网络可能被要求对来自与训练数据不同分布的输入进行预测。大量工作表明，很容易找到或合成使神经网络高度自信却出错输入。生成模型被广泛认为对这类错误置信具有鲁棒性，因为对输入特征密度进行建模可用于检测新颖的、分布外的输入。在本文中，我们挑战这一假设。我们发现，基于流的模型、VAE 和 PixelCNN 学习到的密度无法区分常见物体（如狗、卡车和马，即 CIFAR-10）的图像与门牌号（即 SVHN）的图像，当模型在前者上训练时，反而对后者赋予更高的似然。此外，我们在配对多个流行图像数据集时也发现了这一现象的证据：FashionMNIST 与 MNIST、CelebA 与 SVHN、ImageNet 与 CIFAR-10 / CIFAR-100 / SVHN。为研究这一奇特行为，我们特别聚焦于基于流的生成模型，因为它们通过精确边际似然进行训练和评估。我们发现即使将流限制为常容变换，这种行为仍然存在。这些变换允许一些理论分析，我们表明似然的差异可由数据和模型的位置与方差以及模型曲率来解释。我们的结果警示：在深度生成模型对分布外输入的行为被更好理解之前，不应使用其密度估计来识别与训练分布相似的输入。
引用
@article{arxiv.1810.09136,
title = {Do Deep Generative Models Know What They Don't Know?},
author = {Eric Nalisnick and Akihiro Matsukawa and Yee Whye Teh and Dilan Gorur and Balaji Lakshminarayanan},
journal= {arXiv preprint arXiv:1810.09136},
year = {2019}
}
备注
ICLR 2019