迭代过参数化 Sigmoid 自编码器中的联想记忆
机器学习
2020-08-17 v2 机器学习
摘要
近期研究表明，当网络训练得到的输入-输出 Jacobian 矩阵的所有特征值范数严格小于 1 时，过参数化自编码器可通过迭代映射训练以实现联想记忆。在此，我们利用深度学习理论的最新进展（尤其是无限宽度极限下训练神经网络与用神经切线核（NTK）进行核回归之间的对应关系）从理论上分析这一现象在 sigmoid 网络中的表现。我们发现，在特定条件下，过参数化 sigmoid 自编码器在 NTK 极限下，无论是单样本训练还是多样本训练均可具有吸引子。特别地，对于多个训练样本，我们发现最大 Jacobian 特征值范数随输入范数增大而降至 1 以下，从而产生联想记忆。
引用
@article{arxiv.2006.16540,
title = {Associative Memory in Iterated Overparameterized Sigmoid Autoencoders},
author = {Yibo Jiang and Cengiz Pehlevan},
journal= {arXiv preprint arXiv:2006.16540},
year = {2020}
}