利用视频中的运动先验提升人体分割性能

尽管基于深度学习的语义分割取得了诸多进展，在真实世界中常遇到因分布失配导致的性能下降。近来，已有一些域适应和主动学习方法被提出以缓解性能下降。然而，对于利用大多数相机系统自然捕获的视频中的信息，关注甚少。本工作中，我们提出在弱监督主动学习设定下利用视频中的“运动先验”来改善人体分割。通过使用光流提取视频中的运动信息，我们可以得到可能对应于人体片段的候选前景运动分割（称为运动先验）。我们提出学习一个基于记忆网络的策略模型，通过强化学习筛选强候选片段（称为强运动先验）。所选片段具有高精度，并直接用于微调模型。在一个新收集的监控相机数据集和公开的UrbanStreet数据集中，我们提出的方法跨多个场景与模态（即RGB到红外（IR））提升了人体分割性能。最后，我们的方法在经验上与现有域适应方法互补，将我们的弱监督主动学习方法与域适应方法结合可取得额外的性能增益。