基于数据关联与单阶段检测器的人体实例分割与跟踪
计算机视觉与模式识别
2022-04-01 v1 人工智能
摘要
人体视频实例分割在计算机理解人类活动方面具有重要作用,并广泛应用于视频处理、视频监控以及虚拟现实中的人体建模。当前多数VIS方法基于Mask-RCNN框架,其中用于数据匹配的目标外观与运动信息会增加计算成本并影响分割实时性;另一方面,现有VIS数据集较少关注视频中出现的所有人。本文为解决上述问题,基于单阶段检测器提出了一种新的人体视频实例分割方法。为跨视频跟踪实例,我们采用数据关联策略匹配视频序列中同一实例,并以端到端方式联合学习目标实例外观及其在成对视频帧中的亲和度。我们还采用质心采样策略增强实例的嵌入提取能力,该策略在重度重叠条件下将实例位置偏置至各实例掩码内部。因此,即便人物活动发生突变,实例位置也不会移出掩码,从而缓解同一实例被两个不同实例表示的问题。最后,我们通过整合若干视频实例分割数据集构建了PVIS数据集,以填补当前缺乏专用人体视频分割数据集的空白。基于该数据集进行了大量仿真,仿真结果验证了所提工作的有效性与高效性。
引用
@article{arxiv.2203.16966,
title = {Human Instance Segmentation and Tracking via Data Association and Single-stage Detector},
author = {Lu Cheng and Mingbo Zhao},
journal= {arXiv preprint arXiv:2203.16966},
year = {2022}
}