增强自动驾驶车辆感知中多租户DNN推理的可预测性

自动驾驶车辆(AVs)依赖传感器和深度神经网络(DNNs)来感知周围环境并实时做出驾驶决策。然而，由于计算需求与AV有限资源之间的巨大差距，在AV的感知流水线中实现实时DNN推理具有挑战性。现有研究大多（如果不是全部）专注于通过剪枝和量化压缩DNN模型来优化DNN推理时间，以实现更快的感知。相比之下，我们提出了一种基于DNN的可预测感知系统(PP-DNN)，该系统通过动态选择关键帧和感兴趣区域(ROIs)，在保持多租户DNN相同准确率水平的同时，减少需要处理的图像数据量。PP-DNN基于我们的关键洞察：AV的关键帧和ROIs随AV的周围环境而变化。然而，在多租户DNN中识别和使用关键帧和ROIs以实现可预测推理是具有挑战性的。给定图像帧流，PP-DNN利用ROI生成器，基于连续帧和交通场景的相似性来识别关键帧和ROIs。然后，PP-DNN利用FLOPs预测器从动态关键帧和ROIs预测乘加运算(MACs)。ROI调度器协调使用多个DNN模型处理关键帧和ROIs。最后，我们为非关键帧的感知设计了一个检测预测器。我们已在基于ROS的AV流水线中实现了PP-DNN，并使用BDD100K和nuScenes数据集对其进行了评估。观察到PP-DNN显著增强了感知可预测性，与基线相比，融合帧数最多增加7.3倍，融合延迟减少超过2.6倍，融合延迟变化减少超过2.3倍，检测完整性提高75.4%，成本效益提高高达98%。