正交梯度法改进神经网络校准

我们研究了 $\perp$Grad，这是一种几何感知的梯度优化修改方法，通过约束梯度更新方向来解决标准优化器在不确定性关键应用中的一个重要局限性——过度自信问题。通过强制梯度更新与权重向量的正交性，$\perp$Grad 在不进行架构修改的情况下改变了优化轨迹。在 CIFAR-10 数据集上仅使用 10% 标记数据时，$\perp$Grad 在准确率上与 SGD 相当，但在测试损失（$p=0.05$）、预测熵（$p=0.001$）和置信度度量方面实现了统计显著的改进。这些效果在不同损坏程度和网络架构之间保持一致趋势。$\perp$Grad 是一种无优化器依赖的方法，计算开销最小，且与事后校准技术兼容。在理论上，我们对简化的$\perp$Grad 变体进行了收敛性和平稳点的分析，揭示了正交化如何约束损失减少的路径，避免置信度膨胀，鼓励决策边界的改进。我们的发现表明，几何干预的优化方法可在低计算成本下提高预测不确定性估计。