DecTrain：决定单目深度 DNN 在线训练时机的算法
机器学习
2025-02-04 v2 机器人学
摘要
深度神经网络 (DNN) 在部署数据与训练数据不同时会 accuracy 下降。虽然在所有时间步都进行在线训练可以提高 accuracy，但计算开销较大。我们提出 DecTrain，一个在低开销下使用自监督方式决定是否在线训练单目深度 DNN 的新算法。为在每个时间步做出决定，DecTrain 比较训练成本与预测的 accuracy 增益。我们在分布外数据上评估 DecTrain，发现 DecTrain 在 accuracy 上保持与在所有时间步进行在线训练相当，同时仅训练 44% 的时间。我们还将 DecTrain 与在各种序列上恢复低推理成本 DNN 的结果与更通用性更好的高推理成本 DNN 进行比较。DecTrain 在线训练的所有时间步中恢复 97% 的 accuracy 增益，而计算开销较低于高推理成本 DNN 仅恢复 66%。使用更小的 DNN，我们实现 89% 的恢复，同时将计算开销降低 56%。DecTrain 实现了低成本在线训练，使较小的 DNN 能够在较低的总体计算成本下拥有与更大、更通用性更好的 DNN 相当的 accuracy。
引用
@article{arxiv.2410.02980,
title = {DecTrain: Deciding When to Train a Monocular Depth DNN Online},
author = {Zih-Sing Fu and Soumya Sudhakar and Sertac Karaman and Vivienne Sze},
journal= {arXiv preprint arXiv:2410.02980},
year = {2025}
}
备注
8 pages