EM驱动的用于高效运动分割的无监督学习
计算机视觉与模式识别
2022-10-07 v3
摘要
在本文中,我们提出一种基于CNN的完全无监督光流运动分割方法。我们假设输入光流可表示为一组分段参数化运动模型,通常为仿射或二次运动模型。我们工作的核心思想是利用期望最大化(EM)框架,以严谨的方式设计我们的运动分割神经网络的损失函数与训练过程,该过程不需要真值或人工标注。然而,与经典迭代EM不同,一旦网络训练完成,我们便可在单次推理步骤中对任意未见光流场进行分割,且无需估计任何运动模型。我们研究了包括鲁棒损失在内的不同损失函数,并提出了一种作用于光流场上的新颖高效数据增强技术,该技术适用于任何以光流为输入的神经网络。此外,我们的方法在设计上能够分割多种运动。我们的运动分割网络在四个基准DAVIS2016、SegTrackV2、FBMS59和MoCA上进行了测试,表现非常出色,且在测试时速度很快。
引用
@article{arxiv.2201.02074,
title = {EM-driven unsupervised learning for efficient motion segmentation},
author = {Etienne Meunier and Anaïs Badoual and Patrick Bouthemy},
journal= {arXiv preprint arXiv:2201.02074},
year = {2022}
}
备注
Accepted to : IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)