随机瓶颈：用于灵活降维的无速率自编码器
机器学习
2020-05-07 v1 计算机视觉与模式识别
图像与视频处理
机器学习
摘要
我们提出无速率自编码器(RL-AE)的新概念，其支持灵活的隐维度，可针对变化的失真与维度需求无缝调整。在所提 RL-AE 中，我们不使用确定性瓶颈架构，而是采用过完备表示，并以加权 dropout 进行随机正则化，方式类似于稀疏 AE (SAE)。与 SAE 不同，我们的 RL-AE 在隐表示节点上采用单调递增 dropout 率，使得隐变量像主成分分析(PCA)中那样按重要性排序。其动机来自传统 PCA 的无速率特性，即可丢弃最不重要的主成分以实现可变速率降维，从而优雅地劣化失真。相反，由于传统 AE 的隐变量对数据重建同等重要，在 AE 模型训练后无法简单丢弃以进一步降维。我们提出的随机瓶颈框架实现了无缝速率适配与高重建性能，且训练时无需预定隐维度。我们通过实验证明，所提 RL-AE 相比传统 AE 能在实现低失真的同时完成可变降维。
引用
@article{arxiv.2005.02870,
title = {Stochastic Bottleneck: Rateless Auto-Encoder for Flexible Dimensionality Reduction},
author = {Toshiaki Koike-Akino and Ye Wang},
journal= {arXiv preprint arXiv:2005.02870},
year = {2020}
}
备注
14 pages, 12 figures, ISIT 2020 accepted