SGFormer：卫星-地面融合的3D语义场景补全
计算机视觉与模式识别
2025-04-11 v2 机器人学
摘要
最近，基于相机的解决方案已被广泛探索用于场景语义补全（SSC）。尽管它们在可见区域取得了成功，但现有方法由于频繁的视觉遮挡而难以捕获完整的场景语义。为了解决这一限制，本文提出了第一个卫星-地面协作SSC框架，即SGFormer，探索卫星-地面图像对在SSC任务中的潜力。具体而言，我们提出了一种双分支架构，平行编码正交的卫星视角和地面视角，将它们统一到一个共同域中。此外，我们设计了一种地面视角引导策略，在特征编码期间纠正卫星图像偏差，解决卫星视角和地面视角之间的不对齐问题。此外，我们开发了一种自适应加权策略，平衡卫星视角和地面视角的贡献。实验表明，SGFormer在SemanticKITTI和SSCBench-KITTI-360数据集上优于最先进方法。我们的代码可在 https://github.com/gxytcrc/SGFormer 获取。
引用
@article{arxiv.2503.16825,
title = {SGFormer: Satellite-Ground Fusion for 3D Semantic Scene Completion},
author = {Xiyue Guo and Jiarui Hu and Junjie Hu and Hujun Bao and Guofeng Zhang},
journal= {arXiv preprint arXiv:2503.16825},
year = {2025}
}
备注
Project Page: https://zju3dv.github.io/sgformer/