单目深度估计模型训练中的 NaN 发散分析
计算机视觉与模式识别
2023-11-08 v1
摘要
深度学习的最新进展促进了高精度单目深度估计模型的发展。然而，在训练单目深度估计网络时，实践者和研究者观察到非数（NaN）损失，这会破坏梯度下降优化。尽管若干实践者报告了困扰训练的 NaN 损失的随机且神秘的出现，但文献中并未讨论其根本原因。本研究对训练单目深度估计网络过程中的 NaN 损失进行了深入分析，并确定了导致 NaN 损失的三类脆弱性：1) 使用平方根损失，导致梯度不稳定；2) log-sigmoid 函数存在数值稳定性问题；3) 某些方差实现产生错误计算。此外，针对每种脆弱性，展示了 NaN 损失的发生并给出了防止 NaN 损失的实用准则。实验表明，遵循我们的准则可同时改善单目深度估计的优化稳定性与性能。
引用
@article{arxiv.2311.03938,
title = {Analysis of NaN Divergence in Training Monocular Depth Estimation Model},
author = {Bum Jun Kim and Hyeonah Jang and Sang Woo Kim},
journal= {arXiv preprint arXiv:2311.03938},
year = {2023}
}
备注
10 pages, 3 figures