摇匀与搅动：长程依赖使 PixelCNN++ 实现鲁棒离群点检测
机器学习
2023-05-23 v2
摘要
可靠的离群点检测对于深度学习模型的实际部署至关重要。尽管已被广泛研究，深度生成模型产生的概率似然在很大程度上被认为不适用于离群点检测。首先，深度生成模型似然易受低级输入统计的偏置。其次，许多近期用于纠正这些偏置的方案计算代价高昂，或不能很好地推广到复杂的自然数据集。在此，我们探索使用最先进的深度自回归模型 PixelCNN++ 进行离群点检测。我们表明 PixelCNN++ 似然中的偏置主要源于基于局部依赖的预测。我们提出两类双射变换——“搅动（stirring）”与“摇匀（shaking）”——它们缓解低级偏置并分离长程依赖对 PixelCNN++ 似然的贡献。这些变换代价低廉且可在评估时直接算得。我们用五个灰度与六个自然图像数据集广泛测试了我们的方法，并显示它们在离群点检测上达到或超越 SOTA，尤其在具复杂自然图像的数据集上。我们还表明我们的方案适用于其他类型生成模型（生成流与变分自编码器），且其效力由各模型对局部依赖的依赖程度所支配。总之，轻量级补救足以在图像数据上以深度生成模型实现鲁棒离群点检测。
引用
@article{arxiv.2208.13579,
title = {Shaken, and Stirred: Long-Range Dependencies Enable Robust Outlier Detection with PixelCNN++},
author = {Barath Mohan Umapathi and Kushal Chauhan and Pradeep Shenoy and Devarajan Sridharan},
journal= {arXiv preprint arXiv:2208.13579},
year = {2023}
}