ChatSplat：3D 对话式高斯斯platting

人类自然地通过语言与 3D 环境交互，建模 3D 语言场以进行场景理解和交互正日益受到关注。本文介绍 ChatSplat，一个构建 3D 语言场以在 3D 空间中实现丰富对话互动的系统。不同于主要使用 CLIP 派生语言特征仅关注分割的现有方法，ChatSplat 支持对象、视图和整个 3D 场景三个层次的互动。对于视图级互动，我们设计了一个编码器，将每个视图渲染的特征图编码为标记，再由大型语言模型（LLM）进行处理以进行对话。在场景层面，ChatSplat 组合多视图标记，实现考虑整个场景的互动。在对象层面，ChatSplat 使用基于 patch 的语言嵌入，不同于 LangSplat 的基于像素的语言嵌入在隐式包含掩码和嵌入方面。我们显式地将语言嵌入解耦为独立的掩码和特征图表示，从而实现更灵活的对象级互动。为解决 LLM 所使用的复杂多样语言嵌入导致 3D 高斯学习困难的问题，我们引入一种可学习的归一化技术来标准化这些嵌入，以促进有效学习。广泛的实验结果表明，ChatSplat 支持 3D 空间内的对象、视图和场景多层次互动，增强了理解和参与度。