RandNet：基于图像压缩测量的深度学习
机器学习
2019-08-27 v1 机器学习
摘要
主成分分析、字典学习和自编码器都是从大量训练数据中学习表示的无监督方法。在所有这些方法中，输入数据的维度越高，学习所需时间越长。我们引入一类称为 RandNet 的神经网络，用于利用感兴趣数据（如图像）的压缩随机测量来学习表示。RandNet 将卷积循环稀疏自编码器架构扩展到稠密网络，更重要的是扩展到输入数据为原始数据的压缩随机测量的情况。压缩输入数据使得在训练期间能够在内存中容纳更多批次。此外，在稀疏测量的情况下，训练在计算上更高效。我们证明，在无监督设置下，RandNet 使用压缩数据进行字典学习。在有监督设置下，我们展示 RandNet 能够对 MNIST 图像进行分类，且精度损失极小，尽管其训练使用的是图像随机投影后尺寸减小 50% 的数据。总体而言，我们的结果为使用压缩数据训练神经网络提供了一个通用的原则性框架。
引用
@article{arxiv.1908.09258,
title = {RandNet: deep learning with compressed measurements of images},
author = {Thomas Chang and Bahareh Tolooshams and Demba Ba},
journal= {arXiv preprint arXiv:1908.09258},
year = {2019}
}
备注
The first two authors contributed equally to this work