现代 Hopfield 网络需要思维链来求解 NC$^1$-难问题
计算复杂性
2026-01-26 v2 人工智能
计算与语言
机器学习
摘要
现代 Hopfield 网络（MHNs）作为深度学习中的强大组件，已成为池化层、LSTM 和注意力机制的有效替代品。尽管近期的进展显著提升了其存储容量和检索效率，但其基本的理论边界仍未得到充分探索。在本文中，我们通过电路复杂度理论的视角严格刻画了 MHNs 的表达能力。我们证明，具有多项式精度、常数深度和线性隐藏维度的 MHNs 属于 DLOGTIME-均匀 TC 复杂度类。因此，假设 TC NC，我们证明这些架构无法求解 NC-难问题，如无向图连通性和树同构。我们进一步将这些不可能性结果扩展到核化 Hopfield 网络。然而，我们证明这些限制并非绝对：我们证明为 MHNs 配备思维链（CoT）机制能够使其超越 TC 屏障，使其能够求解本质上具有串行性质的问题，如置换群 S 的字问题。综合来看，我们的结果刻画了标准 MHNs 与经过推理步骤增强的 MHNs 之间的精细边界。
引用
@article{arxiv.2412.05562,
title = {Modern Hopfield Networks Require Chain-of-Thought to Solve $\mathsf{NC}^1$-Hard Problems},
author = {Yang Cao and Xiaoyu Li and Yuanpeng Li and Yingyu Liang and Zhenmei Shi and Zhao Song},
journal= {arXiv preprint arXiv:2412.05562},
year = {2026}
}