变分自编码器中的负采样
机器学习
2022-05-05 v3 机器学习
摘要
现代深度人工神经网络在计算机视觉及其他领域取得了巨大成功。然而，它们对许多实际任务的应用受到某些局限的削弱，例如对分布外数据的过度自信的不确定性估计，或在数据分布偏移下性能退化。若干用于通过概率生成建模进行密度估计的深度学习模型已被证明无法通过向异常数据分配更高似然来检测分布外样本。我们研究了变分自编码器模型中这一失败模式（其同样易于出现此问题），并通过采用利用负样本的替代训练方案改善了模型的分布外泛化性能。我们提出了一种完全无监督版本：当模型以对抗方式训练时，生成器自身的输出可用作负样本。我们在图像数据上通过经验证明了该方法在降低分布外输入的过度自信似然估计方面的有效性。
引用
@article{arxiv.1910.02760,
title = {Negative Sampling in Variational Autoencoders},
author = {Adrián Csiszárik and Beatrix Benkő and Dániel Varga},
journal= {arXiv preprint arXiv:1910.02760},
year = {2022}
}