热成像数据能否提升检测系统的可靠性？
计算机视觉与模式识别
2021-11-10 v1 人工智能
机器学习
图像与视频处理
摘要
基于深度学习的检测网络在自动驾驶系统（ADS）中取得了显著进展。ADS应在各种环境光照与恶劣天气条件下具备可靠性能。然而，亮度下降与视觉遮挡（如眩光、雾）会导致视觉相机采集的图像质量变差，从而引起性能下降。为克服这些挑战，我们探索利用一种与视觉数据不同但互补的数据模态的思路。我们提出了一种基于多模态协作框架的综合检测系统，该系统从RGB（来自视觉相机）与热成像（来自红外相机）数据中学习。该框架以协作方式训练两个网络，在学习自身模态最优特征的同时融入另一模态的互补知识，提供了灵活性。我们广泛的实证结果表明，尽管精度提升有限，但其价值体现在具有挑战性且极困难的边缘案例中，而这正是自动驾驶等安全关键应用的核心所在。我们全面阐述了在检测中使用热成像系统的优势与局限。
引用
@article{arxiv.2111.05191,
title = {Does Thermal data make the detection systems more reliable?},
author = {Shruthi Gowda and Bahram Zonooz and Elahe Arani},
journal= {arXiv preprint arXiv:2111.05191},
year = {2021}
}
备注
Accepted at NeurIPS 2021 - ML4AD workshop (The code for this research is available at: https://github.com/NeurAI-Lab/MMC)