双先验变分自编码器
机器学习
2020-10-06 v1 机器学习
摘要
变分自编码器（VAEs）是无监督学习中一类有影响力且被广泛使用的基于似然的生成模型。已有报道指出，基于似然的生成模型对分布外（OOD）输入具有高度鲁棒性，并且可通过假设模型为来自分布内（ID）数据集的样本分配比 OOD 数据集更高的似然值来作为检测器。然而，近期工作报道了一种现象：VAE 通过将比 ID 输入更高的似然值分配给 OOD 输入，从而将某些 OOD 样本识别为 ID。在本工作中，我们引入一种新模型，即双先验变分自编码器（BPVAE），以解决该现象。BPVAE 旨在通过结合 VAE 的能力与分别属于训练数据集和简单数据集的两个独立先验（后者的复杂度低于训练数据集）来增强 VAE 的鲁棒性。BPVAE 学习两个数据集的特征，为训练数据集分配比简单数据集更高的似然值。通过这种方式，我们可以利用 BPVAE 的密度估计来检测 OOD 样本。定量实验结果表明，我们的模型比标准 VAE 具有更好的泛化能力和更强的鲁棒性，证明了所提出的协同先验混合学习方法的有效性。总体而言，本工作为通过多潜先验建模潜在克服 OOD 问题铺平了新道路。
引用
@article{arxiv.2010.01819,
title = {Bigeminal Priors Variational auto-encoder},
author = {Xuming Ran and Mingkun Xu and Qi Xu and Huihui Zhou and Quanying Liu},
journal= {arXiv preprint arXiv:2010.01819},
year = {2020}
}