基于双特征偏移的车辆座舱监控多模态动作识别
计算机视觉与模式识别
2024-01-29 v1
摘要
驾驶员动作识别（DAR）在车辆座舱监控系统中至关重要。在实际应用中，车辆座舱通常配备具有不同模态的摄像头。然而，针对座舱内 DAR 任务的多模态融合策略研究甚少。本文提出了一种新颖且高效的基于双特征偏移的多模态驾驶员动作识别方法，命名为 DFS。DFS 首先通过执行模态特征交互来整合跨模态的互补特征。同时，DFS 通过在时间帧间进行特征偏移，实现了单模态内的相邻特征传播。为了学习共同模式并提高模型效率，DFS 在多个模态间共享特征提取阶段。在 Drive&Act 数据集上进行了大量实验，以验证所提出的 DFS 模型的有效性。结果表明，DFS 取得了良好的性能，并提高了多模态驾驶员动作识别的效率。
引用
@article{arxiv.2401.14838,
title = {Multi-modality action recognition based on dual feature shift in vehicle cabin monitoring},
author = {Dan Lin and Philip Hann Yung Lee and Yiming Li and Ruoyu Wang and Kim-Hui Yap and Bingbing Li and You Shing Ngim},
journal= {arXiv preprint arXiv:2401.14838},
year = {2024}
}