单层神经网络中用于纹理生成的随机权重研究
计算机视觉与模式识别
2016-12-20 v1 机器学习
摘要
文献中的近期工作已通过实验表明，可以使用训练好的卷积神经网络（CNN）的低层来建模自然纹理。更有趣的是，实验还表明，仅使用一层具有随机滤波器的网络也可以建模纹理，尽管变异性较小。本文中我们提出一个问题：为什么具有随机滤波器的单层 CNN 在生成纹理方面如此有效？我们从理论上证明，单层卷积架构（无非线性）与先前文献中使用的能量函数配对，实际上可以以某种方式保留和调制频率系数，使得随机权重和预训练权重将生成相同类型的图像。基于此分析的结果，我们质疑在使用一个带非线性卷积层的情况下是否也存在类似的性质。我们证明，在 ReLu 非线性的情况下，存在仅有一个输入会给出最小可能能量的情况，而在无非线性的情况下，总有无穷多个解会给出最小可能能量。因此我们可以证明，在某些情况下，添加 ReLu 非线性会生成变异性较小的图像。
引用
@article{arxiv.1612.06070,
title = {On Random Weights for Texture Generation in One Layer Neural Networks},
author = {Mihir Mongia and Kundan Kumar and Akram Erraqabi and Yoshua Bengio},
journal= {arXiv preprint arXiv:1612.06070},
year = {2016}
}
备注
ICASSP 2017