用于光流的细节保留残差特征金字塔模块
计算机视觉与模式识别
2021-07-26 v1
摘要
特征金字塔与迭代细化近期在光流估计方面取得了巨大进展。然而，特征金字塔中的下采样会导致前景物体与背景混合，从而误导迭代处理中的后续决策。其结果是细节丢失，尤其是在细小和小型结构的流中。我们提出了一种新颖的残差特征金字塔模块（RFPM），它在不改变光流估计整体迭代细化设计的情况下，保留了特征图中的重要细节。RFPM将多个特征金字塔间的残差结构融入下采样模块，以纠正跨边界的物体混合。我们展示了如何将该模块与两种最先进的迭代细化架构相集成。结果表明，我们的RFPM显著减少了流误差，并在Sintel的clean pass中提升了SOTA性能，同时也是KITTI中表现最佳的方法之一。根据RFPM特定的模块化结构，我们引入了一种特殊的迁移学习方法，与在多个数据集上的典型完整光流训练方案相比，该方法能大幅减少训练时间。
引用
@article{arxiv.2107.10990,
title = {Detail Preserving Residual Feature Pyramid Modules for Optical Flow},
author = {Libo Long and Jochen Lang},
journal= {arXiv preprint arXiv:2107.10990},
year = {2021}
}