基于零特征值损失的无特征分解深度网络训练

许多经典的计算机视觉问题，如本质矩阵计算以及从三维到二维对应关系的姿态估计，都可以通过求解代表线性系统的矩阵中对应最小或零特征值的特征向量来解决。将此引入深度学习框架将允许我们显式地编码已知的几何概念，而无需网络从数据中隐式地学习它们。然而，在网络内部执行特征分解需要具备对该操作进行微分的能力。遗憾的是，尽管理论上可行，但在实际应用中这会在优化过程中引入数值不稳定性。在本文中，我们引入了一种无特征分解的方法来训练深度网络，其损失函数依赖于网络预测的矩阵中对应零特征值的特征向量。我们在包括关键点匹配和三维姿态估计在内的多个任务上证明，我们的方法比特征分解的显式微分鲁棒得多，它具有更好的收敛特性，并在两项任务上均取得了 SOTA 的结果。