运动边界与遮挡区域的联合检测
计算机视觉与模式识别
2021-11-03 v1
摘要
我们提出 MONet，一种卷积神经网络，可联合检测视频中前向与后向时间方向上的运动边界（MBs）与遮挡区域（Occs）。检测困难在于光流沿 MBs 不连续且在 Occs 中无定义，而许多光流估计器假设平滑性以及处处有定义的光流。为同时在两个时间方向上进行推理，我们对两帧间估计的映射进行正向扭曲。由于帧间外观不匹配常预示邻近 MBs 或 Occs，我们构建了一个代价块，对一帧中每个特征记录其在搜索范围内与匹配特征的最低差异。该代价块是二维的，远比光流分析中使用的四维代价体廉价。代价块特征由编码器计算，MB 与 Occ 估计由解码器计算。我们发现将解码器层由细到粗而非由粗到细排列可提升性能。MONet 在 Sintel 与 FlyingChairsOcc 基准上无需任何微调即超越先前最优方法，在两项任务上均如此。
引用
@article{arxiv.2111.01261,
title = {Joint Detection of Motion Boundaries and Occlusions},
author = {Hannah Halin Kim and Shuzhi Yu and Carlo Tomasi},
journal= {arXiv preprint arXiv:2111.01261},
year = {2021}
}