RADNet：一种用于移动自主系统鲁棒感知的深度神经网络模型
计算机视觉与模式识别
2022-05-03 v1
摘要
交互式自主应用要求感知引擎对非受限视频中的伪影具有鲁棒性。本文中，我们考察相机运动对动作检测任务的影响。我们开发了一种基于全局相机运动程度对视频进行排序的新颖排序方法。对于高排序的相机视频，我们展示动作检测精度有所下降。我们提出了一个对相机运动效应鲁棒的动作检测流程，并经验性地验证了它。具体而言，我们跨帧进行参与者特征对齐，并将全局场景特征与局部参与者特定特征相耦合。我们使用一种新颖的时空采样网络（STSN）表述进行特征对齐，但采用多尺度偏移预测并利用金字塔结构进行细化。我们还提出了一种新颖的依赖于输入的加权平均策略来融合局部与全局特征。我们在具有高相机运动的移动相机视频数据集（MOVE 数据集）上展示了我们网络的适用性，帧 mAP 提升 4.1%，视频 mAP 提升 17%。
引用
@article{arxiv.2205.00364,
title = {RADNet: A Deep Neural Network Model for Robust Perception in Moving Autonomous Systems},
author = {Burhan A. Mudassar and Sho Ko and Maojingjing Li and Priyabrata Saha and Saibal Mukhopadhyay},
journal= {arXiv preprint arXiv:2205.00364},
year = {2022}
}