桥接离散与反向传播：Straight-Through及其超越
机器学习
2023-10-17 v3 人工智能
计算与语言
计算机视觉与模式识别
摘要
反向传播作为深度学习的基石，局限于为连续变量计算梯度。这一局限给涉及离散潜变量的问题带来挑战。为解决此问题，我们提出一种近似生成离散潜变量所涉及参数梯度的新方法。首先，我们考察广泛使用的 Straight-Through (ST) 启发式方法，并证明其作为梯度的一阶近似而工作。受我们的发现引导，我们提出 ReinMax，其通过集成 Heun 方法（一种求解常微分方程的二阶数值方法）实现二阶精度。ReinMax 不需要 Hessian 或其他二阶导数，因而具有可忽略的计算开销。在各种任务上的广泛实验结果展示了 ReinMax 相对于当前最优方法的优越性。实现发布于 https://github.com/microsoft/ReinMax。
引用
@article{arxiv.2304.08612,
title = {Bridging Discrete and Backpropagation: Straight-Through and Beyond},
author = {Liyuan Liu and Chengyu Dong and Xiaodong Liu and Bin Yu and Jianfeng Gao},
journal= {arXiv preprint arXiv:2304.08612},
year = {2023}
}
备注
NeurIPS 2023 (Oral)