Coca-Splat：相机参数与 3D 高斯值的协同优化
计算机视觉与模式识别
2025-04-02 v1
摘要
本 work 提出了 Coca-Splat，一种新方法，用于解决稀疏视图无姿态场景重建和新视图合成 (NVS) 中的挑战，通过联合优化相机参数与 3D 高斯值。灵感来自可变形 DEtection TRansformer，我们设计针对 3D 高斯值和相机参数的独立查询查询，并通过可变形 Transformer 层逐层更新，从而在单个网络中实现联合优化。这种设计表现更好，因为准确渲染接近真实图像的视图依赖于精确估计 3D 高斯值和相机参数。在这种设计中，3D 高斯值的中心被投影到每个视图中，以获得投影点，作为 2D 参考点用于可变形交叉注意。我们提出了相机感知多视角可变形交叉注意 (CaMDFA)，通过共享 2D 参考点将 3D 高斯值和相机参数内在地联系起来。此外，由相机中心指向参考点的 2D 参考点确定的射线 (RayRef) 用于通过在从射线派生的超定方程组上进行 RQ 分解来建模 3D 高斯值和相机参数之间的关系，增强了 3D 高斯值和相机参数之间的关系。广泛的评估显示，我们的方法在 RealEstate10K 和 ACID 数据集上优于以前的方法，无论是需要姿态的还是无姿态的，都在相同的无姿态设置下表现更好。
引用
@article{arxiv.2504.00639,
title = {Coca-Splat: Collaborative Optimization for Camera Parameters and 3D Gaussians},
author = {Jiamin Wu and Hongyang Li and Xiaoke Jiang and Yuan Yao and Lei Zhang},
journal= {arXiv preprint arXiv:2504.00639},
year = {2025}
}