自上而下的连接在分层稀疏编码中的作用
计算机视觉与模式识别
2020-02-04 v1
摘要
分层稀疏编码（HSC）是一种高效表示图像等多维结构化数据的强大模型。求解这一计算困难问题的最简单方法是将它分解为独立的逐层子问题。然而，神经科学证据倾向于如预测编码（PC）理论那样互连这些子问题，该理论在相邻层之间添加自上而下的连接。本研究引入一种称为双层稀疏预测编码（2L-SPC）的新模型，以评估这种层间反馈连接的影响。特别地，将 2L-SPC 与由独立 Lasso 层序列构成的分层 Lasso（Hi-La）网络进行比较。2L-SPC 与双层 Hi-La 网络在 4 个不同数据库上训练，且每层使用不同稀疏参数。首先，我们表明得益于反馈机制在层间传递预测误差，2L-SPC 产生的整体预测误差更低。其次，我们证明 2L-SPC 的推断阶段比 Hi-La 模型收敛更快。第三，我们展示 2L-SPC 也加速了学习过程。最后，对两模型字典及其激活概率支持的定性分析表明，2L-SPC 特征更具通用性与信息性。
引用
@article{arxiv.2002.00892,
title = {Effect of top-down connections in Hierarchical Sparse Coding},
author = {Victor Boutin and Angelo Franciosini and Franck Ruffier and Laurent Perrinet},
journal= {arXiv preprint arXiv:2002.00892},
year = {2020}
}