自评估生成：面向真实场景的光流和立体匹配可信标签生成
计算机视觉与模式识别
2024-10-15 v1
摘要
当前光流和立体方法面临的主要挑战之一是难以良好地泛化到真实世界。这主要源于产生数据集的高成本，以及现有自监督方法在模糊结果和复杂模型训练问题上的局限。为此，我们提出了统一的自监督泛化框架，用于光流和立体任务：Self-Assessed Generation (SAG)。与以往的自监督方法不同，SAG 是数据驱动的，利用先进的重构技术从 RGB 图像构建重构场，并基于此生成数据集。随后，我们从多个角度（如重构场分布、几何一致性和结构相似性）对生成结果的置信水平进行量化，以消除生成过程中不可避免的缺陷。我们还在 SAG 中设计了 3D 飞行前景自动渲染管道，以鼓励网络学习遮挡和运动前景。实验表明，由于 SAG 不涉及方法或损失函数的变更，能够直接对当前主流光流和立体匹配数据集进行自监督训练，大幅提高了自监督方法的泛化性能。相较于以往的训练模式，SAG 更具通用性、成本效益高且准确性更强。
引用
@article{arxiv.2410.10453,
title = {Self-Assessed Generation: Trustworthy Label Generation for Optical Flow and Stereo Matching in Real-world},
author = {Han Ling and Yinghui Sun and Quansen Sun and Ivor Tsang and Yuhui Zheng},
journal= {arXiv preprint arXiv:2410.10453},
year = {2024}
}