使用短步长复制核允许以更少的独立核实现稀疏重构
定量方法
2014-06-18 v1 计算机视觉与模式识别
摘要
在稀疏编码中，通常将图像平铺为不重叠的图块，然后使用字典独立地为每个图块创建稀疏表示。在这种情况下，字典的过完备性是字典元素数量除以图块大小。在去卷积神经网络（DCNs）中，在不重叠图块上学习到的字典被一族卷积核所取代。因此，特征图（V1 层）中的相邻点在图像中的感受野互为平移关系。平移距离由 V1 的维度与图像空间维度的比较决定。我们将此平移距离称为步长（stride）。我们实现了一种使用改进的局部竞争算法（LCA）的 DCN，以研究核数量、步长、感受野大小与重构质量之间的关系。我们发现，例如对于 16x16 像素的感受野，使用 8 个核且步长为 2 所产生的稀疏重构质量，与使用 512 个核且步长为 16（不重叠情况）相当。我们还发现，对于给定的步长和核数量，图块大小并不会显著影响重构质量。相反，学习到的卷积核具有独立于图块大小的自然支持半径。
引用
@article{arxiv.1406.4205,
title = {Replicating Kernels with a Short Stride Allows Sparse Reconstructions with Fewer Independent Kernels},
author = {Peter F. Schultz and Dylan M. Paiton and Wei Lu and Garrett T. Kenyon},
journal= {arXiv preprint arXiv:1406.4205},
year = {2014}
}