复值自编码器

自编码器是无监督机器学习电路，其学习目标是最小化输入与输出之间的失真度量。线性自编码器可以在任何域上定义，但迄今为止仅研究了实值线性自编码器。本文研究复值线性自编码器，其中训练向量和可调矩阵的分量在复数域上定义，并采用 $L_2$ 范数。我们提供了更简单且更一般的证明，统一了实值与复值情形，表明在这两种情形下误差函数的景观在某些变换群下是不变的。该景观没有局部极小值，有一族与主成分分析相关的全局极小值，以及许多与正交投影到由协方差矩阵特征向量的次优子集所张成的子空间上相关的鞍点族。该理论产生了多种迭代、收敛的学习算法，清晰地理解了训练后自编码器的泛化性质，并且同样适用于提供外部目标时的异联想情形。还展示了关于深层架构以及自编码器微分几何的部分结果。本文描述的通用框架有助于对自编码器进行分类，并识别出每一类应当研究的通用共性，从而阐明信息论、无监督学习、聚类、赫布学习和自编码器之间的一些联系。