MinBackProp —— 通过最小求解器反向传播
计算机视觉与模式识别
2024-06-11 v2
摘要
我们提出了一种通过最小问题求解器进行反向传播的方法，以实现端到端神经网络训练。传统方法依赖于手动构建的公式、有限差分和自动求导，对复杂的最小问题求解器而言既费力又不准确且不稳定。我们展示，使用隐函数定理 (IFT) 计算对最小问题求解器解的导数进行反向传播是简单、快速且稳定的。我们将方法与 (i) 在最小问题求解器上使用标准自动求导，并将其与基于奇异值分解 (SVD) 的求解器和特征值 (Eig) �解器的现有反向传播公式进行比较，以及 (ii) 实现一个现有的 PyTorch 深度声明网络 (DDN) 框架下的反向传播进行比较。我们在训练 3D 点配准的异常值剔除权重的 toy 示例中演示了该技术，并在图像配准中训练异常值剔除和 RANSAC 采样网络的实际应用中展示了其效果。该方法在稳定性上达到 100%，相较于自动求导（不稳定且慢）和 DDN（稳定但也较慢），速度快 10 倍。
引用
@article{arxiv.2404.17993,
title = {MinBackProp -- Backpropagating through Minimal Solvers},
author = {Diana Sungatullina and Tomas Pajdla},
journal= {arXiv preprint arXiv:2404.17993},
year = {2024}
}
备注
WSCG 2024