关于平衡模型神经正切核的研究
机器学习
2023-10-24 v1 人工智能
摘要
本研究考察深度平衡（DEQ）模型的神经正切核（NTK），这是一种实用的“无限深度”架构，通过求根直接计算出权重绑定网络的无限深度极限。尽管全连接神经网络在其宽度与深度同时趋于无穷时 NTK 可能是随机的，我们证明相反地，在温和条件下，DEQ 模型即便宽度与深度同时趋于无穷仍具有确定性 NTK。此外，该确定性 NTK 可通过求根高效获得。
引用
@article{arxiv.2310.14062,
title = {On the Neural Tangent Kernel of Equilibrium Models},
author = {Zhili Feng and J. Zico Kolter},
journal= {arXiv preprint arXiv:2310.14062},
year = {2023}
}