归一化流为何无法检测分布外数据
机器学习
2020-06-16 v1 机器学习
摘要
检测分布外（OOD）数据对于鲁棒的机器学习系统至关重要。归一化流是灵活的深度生成模型，却常常出人意料地无法区分分布内与分布外数据：在服装图片上训练的流反而给手写数字分配更高的似然值。我们研究了归一化流在 OOD 检测中表现不佳的原因。我们证明，流学习到的是局部像素相关性和通用的图像到潜空间变换，这些并非目标图像数据集所特有。我们表明，通过修改流耦合层的结构，可以使流偏向于学习目标数据的语义结构，从而改进 OOD 检测。我们的研究揭示，使流能够生成高保真图像的特性可能对 OOD 检测产生不利影响。
引用
@article{arxiv.2006.08545,
title = {Why Normalizing Flows Fail to Detect Out-of-Distribution Data},
author = {Polina Kirichenko and Pavel Izmailov and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:2006.08545},
year = {2020}
}
备注
Code is available at https://github.com/PolinaKirichenko/flows_ood