稠密非刚性光流的自动生成
计算机视觉与模式识别
2021-09-16 v5
摘要
迄今为止，几乎不存在带有来自真实世界图像的非刚性运动稠密光流的大规模数据集。其原因主要在于获取真实光流所需的设置：一系列已知相机位姿及其轨迹的图像，以及来自带纹理场景的精确 3D 模型。人工标注不仅对大型数据库过于繁琐，且几乎难以贡献准确的光流。为规避人工标注需求，我们提出一种从真实世界视频自动生成光流的框架。该方法从视频帧中提取并匹配物体以计算初始约束，并对感兴趣物体施加形变以获得稠密光流场。我们提出若干增强光流变化的方法。大量实验结果表明，使用我们的自动生成光流进行训练，优于使用刚性合成数据在 FlowNet-S、LiteFlowNet、PWC-Net 和 RAFT 上训练的方法。我们的光流生成框架的数据集与实现发布于 https://github.com/lhoangan/arap_flow
引用
@article{arxiv.1812.01946,
title = {Automatic Generation of Dense Non-rigid Optical Flow},
author = {Hoàng-Ân Lê and Tushar Nimbhorkar and Thomas Mensink and Anil S. Baslamisli and Sezer Karaoglu and Theo Gevers},
journal= {arXiv preprint arXiv:1812.01946},
year = {2021}
}
备注
The paper is accepted for publication for Computer Vision and Image Understanding (CVIU)