Chorus:用于整体 3D 高斯场景编码的多教师预训练
计算机视觉与模式识别
2026-05-06 v3
摘要
虽然 3DGS 已成为高保真场景表示方法,但从其原始部件中直接编码富含信息的通用特征仍未得到充分探索。我们通过从 2D 基础模型蒸馏互补信号,引入 Chorus—a 多教师预训练框架,以学习整体式前馈 3D 高斯溅写 (3DGS) 场景编码器。Chorus 采用共享 3D 编码器和教师特定投影器,从语言对齐、通用和对象感知的教师中学习,鼓励共享嵌入空间捕获从高层语义到细粒度结构的信号。我们在广泛的任务上评估了 Chorus:开放词汇语义与实例分割、线性与解码器探测、数据高效监督以及基于 LLM 的问答。除了 3DGS,我们还在多个仅支持点云的基准测试中测试了 Chorus,通过仅使用高斯中心、颜色和估计法向的预训练变体。意外的是,这一编码器在迁�移方面表现出强大的性能,同时使用训练场景数仅为基线点的云方法的 39.9 倍。最后,我们提出了一种渲染-蒸馏适应方法,以 facilitate 域外微调。
引用
@article{arxiv.2512.17817,
title = {Chorus: Multi-Teacher Pretraining for Holistic 3D Gaussian Scene Encoding},
author = {Yue Li and Qi Ma and Runyi Yang and Mengjiao Ma and Bin Ren and Nikola Popovic and Nicu Sebe and Theo Gevers and Luc Van Gool and Danda Pani Paudel and Martin R. Oswald},
journal= {arXiv preprint arXiv:2512.17817},
year = {2026}
}
备注
Project page at https://gaussianworld.github.io/Chorus