基于梯度的竞争学习：理论

深度学习已广泛用于监督学习以及分类/回归问题。近来，一个新颖的研究领域将这一范式应用于无监督任务；事实上，基于梯度的方法能够高效且自主地提取用于处理输入数据的相关特征。然而，最先进的技术主要关注算法效率和准确性，而非模仿输入流形。相反，竞争学习是复制输入分布拓扑的有力工具。本文通过结合这两种技术——无监督基于梯度和竞争学习——引入了该领域的新视角。该理论基于这样的直觉：神经网络能够通过直接对输入矩阵的转置进行操作来学习拓扑结构。为此，给出了标准竞争层及其对偶层。前者只是标准竞争层用于深度聚类的适配，而后者在转置矩阵上训练。它们的等价性在理论和实验上均得到广泛证明。然而，对偶层更适用于处理极高维数据集。所提方法具有巨大潜力，因为它可推广到大量拓扑学习任务，例如非平稳和层次聚类；此外，它也可集成到更复杂的架构中，如自动编码器和生成对抗网络。