基于多层语言嵌入高斯的快速多细粒度交互式智能体——FMLGS
计算机视觉与模式识别
2025-04-14 v1
摘要
语义交互式辐射场长期以来是3D真实应用（如具身智能实现场景理解与操作）的有前景的 backbone。然而，由于语言模糊性以及对对象组件查询时质量下降，多细粒度交互始终是具有挑战性的任务。本文提出FMLGS（Fast Multilevel Language Embedded Gaussians），一种支持3D高斯溅写（3DGS）中对象级和部件级开放词汇查询的方法。我们提出了高效的构建和查询一致对象及部件级语义的管线，基于Segment Anything Model 2（SAM2）。我们设计了语义偏差策略，以解决语言在对象部件间的模糊性问题，该策略对目标细粒度目标的语义特征进行插值，以获取更丰富的信息。训练完成后，我们可通过自然语言查询对象及其可描述的部件。与其他最新方法的比较表明，我们的方法不仅能更准确地定位指定的部件级目标，还在速度和准确率方面实现领先，其中FMLGS比LERF快98倍，比LangSplat快4倍，比LEGaussians快2.5倍。此外，我们进一步将FMLGS集成为一个虚拟智能体，能够通过聊天界面在3D场景中交互式导航、定位目标并响应用户需求，展示了该工作在未来扩展和应用中的潜力。
引用
@article{arxiv.2504.08581,
title = {FMLGS: Fast Multilevel Language Embedded Gaussians for Part-level Interactive Agents},
author = {Xin Tan and Yuzhou Ji and He Zhu and Yuan Xie},
journal= {arXiv preprint arXiv:2504.08581},
year = {2025}
}