细节中的魔鬼：简单而有效的光流合成数据生成
计算机视觉与模式识别
2023-08-16 v1
摘要
近期关于稠密光流的工作已取得显著进展，主要以监督学习方式实现，需要大量标注数据。由于获取大规模真实世界数据代价高昂，通常利用计算机图形学构建数据集。然而，普遍存在一种看法，认为合成到真实的域差距限制了向真实场景的泛化。在本文中，我们展示光流数据集所需特征相当简单，并提出一种更简单的合成数据生成方法，通过基本操作的复合达到一定程度的真实感。借助基于2D运动的数据集，我们系统分析了生成合成数据集最简单却最关键的因素。此外，我们提出一种在监督方法中利用遮挡掩码的新方法，并观察到在课程学习意义上抑制遮挡区域的梯度可作为强大的初始状态。最初在我们数据集上训练的RAFT网络在两个最具挑战性的在线基准MPI Sintel和KITTI 2015上优于原始RAFT。
引用
@article{arxiv.2308.07378,
title = {The Devil in the Details: Simple and Effective Optical Flow Synthetic Data Generation},
author = {Kwon Byung-Ki and Kim Sung-Bin and Tae-Hyun Oh},
journal= {arXiv preprint arXiv:2308.07378},
year = {2023}
}