OCAI：面向遮挡与一致性感知的光流估计改进
计算机视觉与模式识别
2024-03-28 v1
摘要
标注稀缺性是开发具有广泛性和鲁棒性的光流估计模型的主要挑战之一。虽然当前方法依赖数据增强，但尚未充分利用 labeled 视频序列中可获得的丰富信息。我们提出了OCAI方法，通过生成中间视频帧来支持鲁棒的帧插值，同时生成中间之间的光流。利用前向错位方法，OCAI采用遮挡感知来解决像素值的歧义，并通过利用光流的前向-后向一致性来填充缺失值。此外，我们在插值帧上引入了基于教师-学生风格的半监督学习方法。使用一对未标记帧和教师模型预测的光流，我们生成插值帧和光流来训练学生模型。教师的权重使用学生的指数移动平均来维持。我们的评估在Sintel和KITTI等 established benchmarks 上显示，插值质量显著优于感知，同时光流精度得到增强。
引用
@article{arxiv.2403.18092,
title = {OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation},
author = {Jisoo Jeong and Hong Cai and Risheek Garrepalli and Jamie Menjay Lin and Munawar Hayat and Fatih Porikli},
journal= {arXiv preprint arXiv:2403.18092},
year = {2024}
}
备注
CVPR 2024