MPSN：用于建筑室内视频头部检测的运动感知伪孪生网络
计算机视觉与模式识别
2022-12-13 v5
摘要
室内视频中的头部检测是建筑 occupancy 检测的重要组成部分。尽管深度模型在通用目标检测中取得了显著进展，但在复杂室内场景中仍不够理想。室内监控视频常包含杂乱的背景物体，其中头部尺度小且姿态多样。本文提出运动感知伪孪生网络（MPSN），一种端到端方法，利用头部运动信息引导深度模型在室内场景中提取有效的头部特征。通过将相邻帧的像素级差分作为辅助输入，MPSN 有效增强了人体头部运动信息并去除了背景中的无关物体。与先前方法相比，它在两个室内视频数据集上取得了更优性能。我们的实验表明，MPSN 成功抑制了静态背景物体并突出了运动实例，尤其是室内视频中的人体头部。我们还比较了捕获头部运动的不同方法，证明了 MPSN 的简洁性与灵活性。为验证 MPSN 的鲁棒性，我们进行了对抗实验，采用小扰动数学解进行鲁棒模型选择。最后，为确认其在建筑控制系统中的潜力，我们将 MPSN 应用于 occupancy 计数。代码见 https://github.com/pl-share/MPSN。
引用
@article{arxiv.2110.03302,
title = {MPSN: Motion-aware Pseudo Siamese Network for Indoor Video Head Detection in Buildings},
author = {Kailai Sun and Xiaoteng Ma and Peng Liu and Qianchuan Zhao},
journal= {arXiv preprint arXiv:2110.03302},
year = {2022}
}
备注
Published in Building and Environment.Copyright:Elsevier. Paper link:https://www.sciencedirect.com/science/article/pii/S036013232200587X