利用多流信息融合进行低光照场景轨迹预测：一种多通道图卷积方法
计算机视觉与模式识别
2022-11-21 v1 人工智能
摘要
轨迹预测是自动驾驶车辆的一个基础性问题与挑战。早期工作主要聚焦于在正常光照环境下为基于深度学习的预测模型设计复杂架构，难以应对低光照条件。本文提出一种利用多流信息融合的低光照场景轨迹预测新方法，其灵活整合图像、光流与物体轨迹信息。图像通道采用卷积神经网络（CNN）与长短期记忆（LSTM）网络从相机提取时序信息。光流通道用于捕捉相邻相机帧间相对运动模式，并由时空图卷积网络（ST-GCN）建模。轨迹通道用于识别车辆间高层交互。最终，三个通道的信息在预测模块中有效融合，以生成低光照条件下周边车辆的未来轨迹。所提多通道图卷积方法在HEV-I与新生成的Dark-HEV-I（以城市场景交叉口为主的自我中心视觉数据集）上得到验证。结果表明，我们的方法在标准与低光照场景下均优于基线。此外，我们的方法具有通用性，适用于含不同类型感知数据的场景。所提方法的源代码见 https://github.com/TommyGong08/MSIF。
引用
@article{arxiv.2211.10226,
title = {Leveraging Multi-stream Information Fusion for Trajectory Prediction in Low-illumination Scenarios: A Multi-channel Graph Convolutional Approach},
author = {Hailong Gong and Zirui Li and Chao Lu and Guodong Du and Jianwei Gong},
journal= {arXiv preprint arXiv:2211.10226},
year = {2022}
}