从鸟瞰视角看：无需相机标定的联合相机与主体配准
计算机视觉与模式识别
2024-04-30 v3
摘要
我们解决了一个新问题：在无预先给定相机标定的情况下，进行鸟瞰视角（BEV）下的多视角相机与主体配准。这是一个极具挑战性的问题，因为其输入仅为来自多人场景的不同第一人称视角（FPV）的若干RGB图像，没有BEV图像和FPV的标定信息，而输出则是一个统一的平面，其中包含主体和相机在BEV中的位置与朝向。我们提出了一个端到端框架来解决此问题，其主要思想可分为以下几个部分：i）创建一个视角变换主体检测模块，将FPV变换到一个虚拟BEV，其中包含每个行人的位置和朝向；ii）推导出一种基于几何变换的方法来估计相机位置和视角方向，即在统一BEV中的相机配准；iii）利用空间和外观信息将主体聚合到统一BEV中。我们收集了一个新的大规模合成数据集，并带有丰富的标注用于评估。实验结果表明了我们所提方法的显著有效性。
引用
@article{arxiv.2212.09298,
title = {From a Bird's Eye View to See: Joint Camera and Subject Registration without the Camera Calibration},
author = {Zekun Qian and Ruize Han and Wei Feng and Feifan Wang and Song Wang},
journal= {arXiv preprint arXiv:2212.09298},
year = {2024}
}