RealNet：在 IoT 上将优化目标检测与信息融合深度估计协同设计方法相结合
计算机视觉与模式识别
2022-04-26 v1 人工智能
摘要
在深度学习人工智能指导下，深度估计与目标检测识别在自动驾驶技术中发挥着重要作用。我们提出一种称为 RealNet 的混合结构：一种将模型精简的识别算法、带信息融合的深度估计算法相结合的协同设计方法，并将其部署于配备单目视觉传感器的 Jetson-Nano 无人车上。我们使用 ROS 进行实验。本文提出的方法适用于具有高实时性需求的移动平台。我们方法的创新之处在于利用信息融合补偿输出图像帧率不足的问题，并提升单目视觉下目标检测与深度估计的鲁棒性。目标检测基于 YOLO-v5。我们简化了其 DarkNet53 的网络结构，实现了高达 0.01s 的预测速度。深度估计基于 VNL 深度估计，其考虑三维全局空间中的多种几何约束。它通过计算虚拟法向量 VN 与标签的偏差来计算损失函数，从而获得更深的深度信息。我们使用 PnP 融合算法解决深度图输出帧率不足的问题。它基于角点特征匹配求解从三维目标到二维点的运动估计深度，比 VNL 计算更快。我们将 VNL 输出与 PnP 输出进行插值以实现信息融合。实验表明，这能有效消除深度信息抖动并提升鲁棒性。在控制端，该方法结合目标检测与深度估计结果计算目标位置，并采用纯跟踪控制算法对其进行跟踪。
引用
@article{arxiv.2204.11216,
title = {RealNet: Combining Optimized Object Detection with Information Fusion Depth Estimation Co-Design Method on IoT},
author = {Zhuohao Li and Fandi Gou and Qixin De and Leqi Ding and Yuanhang Zhang and Yunze Cai},
journal= {arXiv preprint arXiv:2204.11216},
year = {2022}
}