面向自动驾驶行人动作识别的旁路增强 RGB 流模型

行人动作识别与意图预测是自动驾驶领域的核心问题之一。在该研究领域中，动作识别是关键的技术之一。大量学者为提高该任务的算法精度做了许多工作。然而，在算法计算复杂度和系统实时性方面的研究与改进相对较少。在自动驾驶应用场景中，算法的实时性与超低延迟是极为重要的评价指标，直接关系到自动驾驶系统的可用性与安全性。为此，我们构建了一个旁路增强的 RGB 流模型，该模型结合了先前双分支算法分别提取 RGB 特征信息与光流特征信息。在训练阶段，通过蒸馏方法合并双分支，并在推理阶段结合旁路增强以保证精度。在精度不下降的前提下，行为识别算法的实时性得到显著提升。实验证实了我们所提算法的优越性与有效性。