中文

DoReMi:基于拓扑感知的 3D 领域-表示混合专家

计算机视觉与模式识别 2026-04-14 v2

摘要

构建统一的 3D 场景理解模型长期受阻于不同传感器模组间的显著拓扑差异。虽然 Mixture-of-Experts(MoE)架构是实现通用理解的有效方法,但我们注意到现有 3D MoE 网络常因语义驱动的路由偏差而受限。这使我们难以解决由“语义一致但拓扑异构”构成的跨域数据。为此,我们提出 DoReMi(Topology-Aware Domain-Representation Mixture of Experts)。具体而言,我们引入基于多属性(如拓扑与纹理变化)的自监督预训练分支,以锚定跨域结构性先验。基于此,我们设计域感知专家分支,包含两大核心机制:Domain Spatial-Guided Routing(DSR),通过提取空间上下文实现对局部拓扑变化的精准感知;Entropy-controlled Dynamic Allocation(EDA),通过量化路由不确定性动态调整激活专家数量以确保训练稳定性。通过这两大分支的协同作用,DoReMi 实现了通用特征提取与高度自适应专家分配的深度集成。广泛实验覆盖室内外场景,验证了 DoReMi 的优越性:在 ScanNet 验证集上达到 80.1% mIoU,在 S3DIS 上达到 77.2% mIoU,全面超越现有最新方法。代码将很快公开。

关键词

引用

@article{arxiv.2511.11232,
  title  = {DoReMi: Bridging 3D Domains via Topology-Aware Domain-Representation Mixture of Experts},
  author = {Mingwei Xing and Xinliang Wang and Yifeng Shi},
  journal= {arXiv preprint arXiv:2511.11232},
  year   = {2026}
}

备注

The first two authors contributed equally to this paper