分层架构中不变表示的无监督学习

当前机器学习阶段的特点是依赖大量标记样本（$n \to \infty$）的有监督学习算法。下一阶段可能聚焦于能够像人类那样从极少标记样本（$n \to 1$）中学习的算法。我们提出了一种解决该问题的方法，并描述了其基础理论，即通过无监督、自动学习一种用于有监督学习的“良好”表示，该表示具有小样本复杂度（$n$）。虽然该理论适用于其他领域，但我们主要考虑视觉物体识别的情形。出发点是这样一个猜想（已在特定情况下得到证明）：对平移、缩放及其他变换具有不变性的图像表示可以显著降低学习的样本复杂度。我们证明了可以为每个图像块 $I$ 计算出一个不变且唯一（判别性）的特征签名，其依据是 $I$ 与无监督学习期间存储的一组模板之间点积的经验分布。一个执行滤波和池化操作的模块（类似于 Hubel 和 Wiesel 描述的简单细胞和复杂细胞）可以计算此类估计。由这种基本的 Hubel-Wiesel 模块组成的分层架构继承了其不变性、稳定性和判别性，同时捕捉了视觉世界由整体和部分构成的组合组织结构。该理论扩展了现有的用于图像和语音识别的深度学习卷积架构。它还表明，视觉皮层腹侧流的主要计算目标是提供一种对新物体/图像的分层表示，该表示对变换具有不变性、稳定且具有判别性以用于识别——并且这种表示可能在发育和视觉经验过程中以无监督方式持续学习。