亦可兼得：随时间展开的深层集成
计算机视觉与模式识别
2023-09-21 v1
摘要
独立训练的深层神经网络集成所给出的不确定性估计在性能上可与贝叶斯网络媲美。它们还相较单一模型在预测性能上带来可观提升。然而，深层集成通常不用于计算预算有限的环境——如自动驾驶——因为其复杂度随集成成员数量线性增长。对于机器人应用（如自动驾驶）可观察到的一个重要事实是，数据通常是序列化的。例如，当需识别一个物体时，自动驾驶车辆通常观察到的是图像序列，而非单张图像。这引出一个问题：能否将深层集成随时间展开？在本工作中，我们提出并分析随时间展开的深层集成（DESOT）。其思想是仅对序列中每个数据点应用单个集成成员，并融合跨越数据序列的预测。我们针对交通标志分类实现并实验了 DESOT，其中需对跟踪图像块序列进行分类。我们发现 DESOT 在预测与不确定性估计性能方面获得了深层集成的益处，同时避免了额外的计算成本。此外，DESOT 易于实现，且训练时不需要序列。最后，我们发现 DESOT 与深层集成一样，在分布外检测上优于单一模型。
引用
@article{arxiv.2309.11333,
title = {You can have your ensemble and run it too -- Deep Ensembles Spread Over Time},
author = {Isak Meding and Alexander Bodin and Adam Tonderski and Joakim Johnander and Christoffer Petersson and Lennart Svensson},
journal= {arXiv preprint arXiv:2309.11333},
year = {2023}
}