减少自编码器瓶颈表示中的冗余
计算机视觉与模式识别
2022-11-24 v2 图像与视频处理
摘要
自编码器是一种无监督神经网络，可用于解决各种任务，例如降维、图像压缩和图像去噪。自编码器有两个目标：(i) 使用编码器将原始输入压缩到网络拓扑瓶颈处的低维空间，(ii) 使用解码器从瓶颈处的表示重构输入。编码器和解码器通过最小化基于失真的损失进行联合优化，这隐式地迫使模型仅保留重构输入所需的数据变化并减少冗余。在本文中，我们提出了一种显式惩罚瓶颈表示中特征冗余的方案。为此，我们提出了一个基于神经元成对相关性的附加损失项，它补充了标准的重构损失，迫使编码器学习更多样、更丰富的输入表示。我们在不同任务上测试了我们的方法：使用三个不同数据集进行降维，使用 MNIST 数据集进行图像压缩，以及使用 Fashion MNIST 进行图像去噪。实验结果表明，与标准的自编码器损失相比，所提出的损失始终能带来更优越的性能。
引用
@article{arxiv.2202.04629,
title = {Reducing Redundancy in the Bottleneck Representation of the Autoencoders},
author = {Firas Laakom and Jenni Raitoharju and Alexandros Iosifidis and Moncef Gabbouj},
journal= {arXiv preprint arXiv:2202.04629},
year = {2022}
}
备注
6 pages,4 figures. The paper is under consideration at Pattern Recognition Letters