SURGE：二进制神经网络中的 surrogate 梯度适应
机器学习
2026-05-26 v3 人工智能
摘要
二进制神经网络（BNN）的训练基本基于非可微binarization操作（如sign函数）的梯度近似。然而，现有方法包括直通估计器（STE）及其改进变体，都依赖于手工设计，存在梯度不匹配问题和由固定范围梯度裁剪引起的信息损失。为此，我们提出SURrogate GradiEnt Adaptation（SURGE），一种具有理论依据的可学习梯度补偿框架。SURGE通过辅助反向传播来缓解梯度不匹配。具体而言，我们设计了Dual-Path Gradient Compensator（DPGC），为每个binarized层构建一条并行的全精度辅助支路，通过输出分解在反向传播中解耦梯度流。DPGC通过利用全精度支路来估计超越STE一阶近似的分量，从而实现偏差减小的梯度估计。为进一步提高训练稳定性，我们引入基于最优尺度因子的Adaptive Gradient Scaler（AGS），通过基于范数的数值比例动态平衡分支间梯度贡献。在图像分类、目标检测和语言理解任务上的实验表明，SURGE在当前最先进方法中表现最佳。
引用
@article{arxiv.2605.10989,
title = {SURGE: Surrogate Gradient Adaptation in Binary Neural Networks},
author = {Haoyu Huang and Boyu Liu and Linlin Yang and Yanjing Li and Yuguang Yang and Xuhui Liu and Canyu Chen and Zhongqian Fu and Baochang Zhang},
journal= {arXiv preprint arXiv:2605.10989},
year = {2026}
}
备注
Accepted as a poster at the 43rd International Conference on Machine Learning (ICML 2026)