MAC-Ego3D: 基于多智能体高斯共识的实时协作式自运动估计与全景光影 3D 重建
计算机视觉与模式识别
2024-12-16 v1
摘要
实时多智能体协作用于自运动估计和高保真 3D 重建对可扩展的空间智能至关重要。然而，传统方法产生稀疏、低细节地图，而最新的稠密映射方法则难以处理高延迟。为克服这些挑战，我们提出MAC-Ego3D，一个用于实时协作式全景光影 3D 重建的新框架，通过多智能体高斯共识实现。MAC-Ego3D 使智能体能够独立构建、对齐和迭代细化局部地图，采用统一的高斯溅写表示。通过智能体内部高斯共识，它在智能体内部对相邻高斯溅实现空间一致性。对于全局对齐，采用并行化的智能体间高斯共识，该方法异步对齐和优化局部地图，通过正则化多智能体高斯溅实现无缝集成到高保真 3D 模型中。利用高斯原语，MAC-Ego3D 支持高效的 RGB-D 渲染，实现快速的智能体间高斯关联和对齐。MAC-Ego3D 桥接了局部精度与全局一致性，实现更高的效率，大幅降低定位误差，提高映射保真度。它在合成和真实世界基准中建立了新的 SOTA，实现推理速度提升 15 倍，部分情况下的自运动估计误差降低一个数量级，RGB PSNR 提升 4-10 dB。我们的代码将在 https://github.com/Xiaohao-Xu/MAC-Ego3D 上公开。
引用
@article{arxiv.2412.09723,
title = {MAC-Ego3D: Multi-Agent Gaussian Consensus for Real-Time Collaborative Ego-Motion and Photorealistic 3D Reconstruction},
author = {Xiaohao Xu and Feng Xue and Shibo Zhao and Yike Pan and Sebastian Scherer and Xiaonan Huang},
journal= {arXiv preprint arXiv:2412.09723},
year = {2024}
}
备注
27 pages, 25 figures