对称性引发学习的结构与约束

Liu Ziyin

对称性引发学习的结构与约束

机器学习 2024-06-04 v2 机器学习

作者: Liu Ziyin

摘要

由于常见的架构设计,对称性在当代神经网络中广泛存在。本工作中,我们揭示了损失函数对称性在影响(即便不是决定)机器学习模型学习行为方面的重要性。我们证明损失函数中的每一镜像反射对称性(反射面为 O)都会导致模型参数 θ 上出现约束:O^Tθ=0。当权重衰减或梯度噪声较大时,该约束解得以满足。深度学习中的常见镜像对称性包括重缩放、旋转与置换对称性。作为直接推论,我们表明重缩放对称性导致稀疏性,旋转对称性导致低秩性,置换对称性导致同质集成。进而,我们展示该理论框架可解释神经网络中诸如可塑性丧失与各种坍缩现象等有趣现象,并提示如何利用对称性设计优雅算法以可微分方式强制硬约束。

关键词

损失函数对称性镜像反射参数约束神经网络稀疏性低秩同质集成

引用

@article{arxiv.2309.16932,
  title  = {Symmetry Induces Structure and Constraint of Learning},
  author = {Liu Ziyin},
  journal= {arXiv preprint arXiv:2309.16932},
  year   = {2024}
}

备注

ICML 2024 Camera Ready Version

对称性引发学习的结构与约束

摘要

关键词

引用

备注

相关论文