自编码器进行异常检测是否需要瓶颈层？
机器学习
2022-02-28 v1 机器学习
摘要
在设计深度自编码器（AE，一种无监督神经网络）时，一种普遍看法是必须设置瓶颈层以防止学习恒等函数。学习恒等函数会使自编码器对异常检测毫无用处。本文中，我们挑战这一限制性看法，并研究非瓶颈自编码器的价值。去除瓶颈层有两种方式：（1）过度参数化潜层；（2）引入跳跃连接。然而，仅有少量工作报道了其中一种方式的使用。我们首次开展了涵盖瓶颈去除方案、自编码器类型与数据集各种组合的广泛实验。此外，我们提出无限宽自编码器作为非瓶颈自编码器的极端示例。其相对基线的提升意味着学习恒等函数并不像先前假设的那般简单。而且，我们发现非瓶颈架构（最高 AUROC=0.857）在 CIFAR（正常样本）对比 SVHN（异常样本）这一流行任务及其他任务上，可优于其瓶颈对应架构（最高 AUROC=0.696），这为开发非瓶颈自编码器以改进异常检测指明了潜力。
引用
@article{arxiv.2202.12637,
title = {Do autoencoders need a bottleneck for anomaly detection?},
author = {Bang Xiang Yong and Alexandra Brintrup},
journal= {arXiv preprint arXiv:2202.12637},
year = {2022}
}