核异质性改善自然图像表示的稀疏性
神经元与认知
2023-12-25 v1 神经与进化计算
摘要
生物和人工神经网络都固有地平衡其性能与运行成本，从而平衡其计算能力。通常，高效的神经形态神经网络是学习能够减少输入冗余和维度的表示的神经网络。例如，这在稀疏编码中实现，并且从自然图像导出的稀疏表示产生异质性的表示，无论是在输入特征的采样还是在这些特征的方差方面。在这里，我们研究了自然图像结构（特别是定向特征）与其相应的稀疏编码之间的联系。我们表明，分布在多个方差水平上的输入特征表示显著提高了稀疏编码的稀疏性和鲁棒性，但代价是重建性能。这呼应了模型输入的结构，允许解释自然图像的异质偶然结构。我们证明，从自然图像学习核通过平衡近似表示和密集表示产生异质性，从而改善了所有重建指标。通过使用参数化控制卷积稀疏编码算法使用的核异质性，我们表明异质性强调稀疏性，而同质性改善表示粒度。在更广泛的背景下，这些编码策略可以作为深度卷积神经网络的输入。我们证明，这种方差编码的稀疏图像数据集提高了计算效率，强调了核异质性在利用自然和变异输入结构方面的优势，以及可能用于提高神经形态硬件吞吐量的应用。
引用
@article{arxiv.2312.14685,
title = {Kernel Heterogeneity Improves Sparseness of Natural Images Representations},
author = {Hugo J. Ladret and Christian Casanova and Laurent Udo Perrinet},
journal= {arXiv preprint arXiv:2312.14685},
year = {2023}
}