WAIC 为何有效？用于鲁棒异常生成的生成式集成方法
机器学习
2019-05-27 v4 机器学习
摘要
当测试时所见数据由与训练数据生成器不同的随机生成器产生时，机器学习模型会遇到分布外（OoD）错误。将 OoD 检测扩展到高维数据的一种方案是学习训练分布的可处理似然近似，并用它来拒绝不太可能的输入。然而，自然数据上的似然模型本身易受 OoD 错误影响，甚至对其他数据集的样本赋予较大的似然值。为缓解此问题，我们提出生成式集成（Generative Ensembles），通过估计似然模型的认识不确定性来鲁棒化基于密度的 OoD 检测。我们提出了一个有待解释的令人困惑的现象——尽管似然度量无法刻画分布的典型集，因此本身不应单独适用于 OoD 检测，但 WAIC 在实践中表现得出奇地好。
引用
@article{arxiv.1810.01392,
title = {WAIC, but Why? Generative Ensembles for Robust Anomaly Detection},
author = {Hyunsun Choi and Eric Jang and Alexander A. Alemi},
journal= {arXiv preprint arXiv:1810.01392},
year = {2019}
}