RALACs：基于交互编码与光流的自驾车辆动作识别
计算机视觉与模式识别
2024-01-17 v3 机器学习
机器人学
摘要
当应用于自动驾驶车辆(AV)场景时，动作识别可增强环境模型的态势感知能力。这在传统几何描述与启发式方法在AV中不足的场景中尤为突出。然而，动作识别传统上针对人类研究，其对含噪、未裁剪、未处理的原始RGB数据适应性有限，阻碍了其在其他领域的应用。为推动动作识别在AV中的进展与采用，本工作提出一种称为RALACs的新型两阶段动作识别系统。RALACs阐述了道路场景动作识别问题，并弥合了其与成熟的人体动作识别领域之间的鸿沟。本工作展示了注意力层如何有益于编码智能体间关系，并强调此类方案可做到类别无关。此外，为应对道路上智能体的动态特性，RALACs构建了一种将感兴趣区域(ROI)对齐适配于智能体轨迹以进行下游动作分类的新方法。最后，我们的方案还考虑了主动智能体检测问题，并利用融合光流图的新应用来辨识道路场景中的相关智能体。我们表明，所提方案在ICCV2021 Road Challenge数据集上优于基线，并通过在真实车辆平台上部署，初步揭示了动作识别在决策中的效用。
引用
@article{arxiv.2209.14408,
title = {RALACs: Action Recognition in Autonomous Vehicles using Interaction Encoding and Optical Flow},
author = {Eddy Zhou and Alex Zhuang and Alikasim Budhwani and Owen Leather and Rowan Dempster and Quanquan Li and Mohammad Al-Sharman and Derek Rayside and William Melek},
journal= {arXiv preprint arXiv:2209.14408},
year = {2024}
}