在 Ricci 流下学习离散化神经网络
机器学习
2024-12-20 v5 信息论
神经与进化计算
math.IT
摘要
在本文中，我们研究了由低精度权重和激活值组成的离散化神经网络，由于训练期间不可微的离散函数，它们会面临梯度无限或为零的问题。在此类场景中，大多数基于训练的 DNNs 采用标准的 Straight-Through Estimator (STE) 来近似关于离散值的梯度。然而，使用 STE 会引入梯度不匹配问题，这是由近似梯度中的扰动引起的。为了解决这个问题，本文揭示了通过二元性理论的视角，这种不匹配可以被解释为 Riemannian 流形上的度量扰动。基于信息几何，我们为 DNNs 构建了线性近欧几里得 (LNE) 流形，为处理扰动提供了背景。通过在度量上引入偏微分方程，即 Ricci 流，我们确立了具有 范数扰动的 LNE 度量的动态稳定性和收敛性。与以往收敛速率为分数次幂的扰动理论相比，Ricci 流下的度量扰动在 LNE 流形中表现出指数衰减。跨多个数据集的实验结果表明，与其他代表性的基于训练的方法相比，我们的方法对 DNNs 取得了更优且更稳定的性能。
引用
@article{arxiv.2302.03390,
title = {Learning Discretized Neural Networks under Ricci Flow},
author = {Jun Chen and Hanwen Chen and Mengmeng Wang and Guang Dai and Ivor W. Tsang and Yong Liu},
journal= {arXiv preprint arXiv:2302.03390},
year = {2024}
}