走钢丝：卷积自编码器瓶颈的探究
机器学习
2020-05-14 v2 计算机视觉与模式识别
摘要
在本文中，我们对卷积自编码器（CAE）瓶颈进行了深入探究。自编码器（AE），尤其是其卷积变体，在当前深度学习工具箱中起着至关重要的作用。研究人员与从业者将 CAE 用于多种任务，从离群点检测与压缩到迁移与表示学习。尽管被广泛采用，我们对瓶颈形状如何影响 CAE 的涌现特性所知有限。我们证明，瓶颈高度与宽度的增加极大改善了泛化能力，进而使潜码在下游迁移学习任务中表现更好。另一方面，瓶颈中的通道数重要性次之。此外，我们通过实验表明，与普遍看法相反，即使瓶颈的神经元数量与输入像素数相同，CAE 也不会学习复制其输入。尽管在一个微小（约 600 张图像）数据集上训练 CAE 达 1000 个周期，复制仍未发生。我们认为本文的发现可直接应用，并将改进依赖 CAE 的模型。
引用
@article{arxiv.1911.07460,
title = {Walking the Tightrope: An Investigation of the Convolutional Autoencoder Bottleneck},
author = {Ilja Manakov and Markus Rohm and Volker Tresp},
journal= {arXiv preprint arXiv:1911.07460},
year = {2020}
}
备注
code available at https://github.com/IljaManakov/WalkingTheTightrope