无校准相机畸变模型估计：实时混合现实一致性的盲 augmentation 方法
计算机视觉与模式识别
2025-03-19 v1 图形学
人机交互
摘要
实拍摄像机 footage 受噪声、运动模糊 (MB) 和景深 (DoF) 的影响。在某些应用中，这些可能被视为需要去除的畸变，但在其他情况下，建模它们很重要，因为简单地去除它们可能无效，或干扰审美选择。在将虚拟内容合成到实时视频 feed 的增强现实应用中，我们可以对噪声、MB 和 DoF 进行建模，以使虚拟内容与视频视觉上保持一致。现有方法通常存在两个主要局限：首先，需要相机校准步骤将已知校准目标与特定摄像机响应关联；其次，现有工作需要可微调的校准方法，如缓慢且专用的神经网络。我们提出一种方法，可即时估计噪声、MB 和 DoF 的参数，从而允许使用来自游戏引擎等即时仿真方法来合成增强内容。我们的核心思想是，通过展示如何使用现代计算机视觉方法从视频流中去除噪声、MB 和 DoF，本质上提供自校准功能。这使得我们能够为任何黑盒实时噪声+MB+DoF 方法实现快速且高保真的增强现实一致性。
引用
@article{arxiv.2503.01387,
title = {Blind Augmentation: Calibration-free Camera Distortion Model Estimation for Real-time Mixed-reality Consistency},
author = {Siddhant Prakash and David R. Walton and Rafael K. dos Anjos and Anthony Steed and Tobias Ritschel},
journal= {arXiv preprint arXiv:2503.01387},
year = {2025}
}
备注
To appear in IEEE Transactions on Visualization and Computer Graphics (IEEEVR 2025). Project page can be found at https://prakashsidd18.github.io/projects/blind_augmentation/