用于融合多视角视觉并应对遮挡与信息缺失的集成学习：框架及真实世界数据评估与在驾驶员手部活动识别中的应用
机器学习
2023-10-02 v2 人工智能
计算机视觉与模式识别
机器人学
摘要
多传感器框架为集成学习与传感器融合提供了利用冗余与补充信息的机会，这在诸如连续驾驶员状态监测等真实世界安全应用中颇有帮助，此类应用即便在信息可能间歇性缺失的情况下也需做出预测。我们定义了这一间歇性信息缺失（由遮挡、噪声或传感器故障引起）的问题，并围绕这些数据缺口设计了一个学习框架，提出并分析了一种用于处理缺失信息的插补方案。我们将这些思路应用于基于摄像头的手部活动分类任务，以实现自动驾驶期间的稳健安全。我们表明，在组内受试者上验证时，并行卷积神经网络之间的后期融合方法在估计手部所持物体与位置方面甚至优于放置最佳的单一摄像头模型；且我们的多摄像头框架在跨组验证中平均表现最佳，并且该融合方法优于集成加权多数与模型组合方案。
引用
@article{arxiv.2301.12592,
title = {Ensemble Learning for Fusion of Multiview Vision with Occlusion and Missing Information: Framework and Evaluations with Real-World Data and Applications in Driver Hand Activity Recognition},
author = {Ross Greer and Mohan Trivedi},
journal= {arXiv preprint arXiv:2301.12592},
year = {2023}
}