贝叶斯场：任务驱动的开放集语义高斯泼溅
计算机视觉与模式识别
2025-03-11 v1
摘要
开放集语义建图需要 (i) 确定表示场景的正确粒度（例如，应如何定义对象），以及 (ii) 将跨多个 2D 观测的语义知识融合至整体的 3D 重建中——理想情况下需具备高保真度且低内存占用。大多数相关工作通过根据某些手动调整的阈值将具有相似语义的基元聚合在一起来回避第一个问题，而我们认识到对象粒度是任务相关的，并开发了一种任务驱动的语义建图方法。为解决第二个问题，当前的做法是对多个视图的视觉嵌入向量取平均值。相反，我们展示了基于底层视觉-语言基础模型属性使用概率方法的优势，并利用贝叶斯更新来聚合对场景的多次观测。其结果是 Bayesian Fields，一种用于开放集语义建图的任务驱动概率方法。为实现高保真对象和密集场景表示，Bayesian Fields 使用 3D 高斯，我们将其聚类为任务相关的对象，从而既能轻松提取 3D 对象，又能减少内存使用。我们在 https://github.com/MIT-SPARK/Bayesian-Fields 开源了 Bayesian Fields。
引用
@article{arxiv.2503.05949,
title = {Bayesian Fields: Task-driven Open-Set Semantic Gaussian Splatting},
author = {Dominic Maggio and Luca Carlone},
journal= {arXiv preprint arXiv:2503.05949},
year = {2025}
}