YOIO：通过挖掘与融合多重必要全局信息实现光流估计中的仅一次迭代
计算机视觉与模式识别
2024-01-12 v1
摘要
遮挡对即使依赖全局证据的光流算法也构成重大挑战。我们将遮挡点视为在参考帧中成像但在下一帧中未成像的点。估计这些点的运动极其困难，尤其是在双帧设定下。以往工作仅使用当前帧作为唯一输入，无法保证为遮挡点提供正确的全局参考信息，且存在计算时间长、遮挡点光流预测精度差等问题。为兼顾高精度与高效率，我们充分挖掘并利用帧对提供的时空信息，设计了一种回环判断算法以确保获取正确的全局参考信息，挖掘多重必要全局信息，并设计了一个融合这些全局信息的高效精化模块。具体而言，我们提出了YOIO框架，由三个主要组件构成：初始光流估计器、多重全局信息提取模块和统一精化模块。我们证明，仅需一次迭代即可显著改善遮挡区域的光流估计，且不损害非遮挡区域的性能。与GMA相比，该方法在遮挡区域的光流预测精度提升超过10%，occ_out区域超过15%，同时计算时间缩短27%。该方法在436*1024图像分辨率下运行速度高达18.9fps，在所有已发表和未发表的可实时运行方法中，于极具挑战性的Sintel数据集上取得了新的最优结果，为精确高效的光流估计提供了一种新范式。
引用
@article{arxiv.2401.05879,
title = {YOIO: You Only Iterate Once by mining and fusing multiple necessary global information in the optical flow estimation},
author = {Yu Jing and Tan Yujuan and Ren Ao and Liu Duo},
journal= {arXiv preprint arXiv:2401.05879},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2104.02409 by other authors