3DAffordSplat：基于 3D 高斯的高效可达性推理
计算机视觉与模式识别
2025-04-17 v2
摘要
3D 可达性推理对于将人类指令关联到 3D 物体的功能区域，具有助力具身 AI 中精确、面向任务的操作意义。然而，当前方法主要依赖稀疏 3D 点云，由于对坐标变化敏感且数据本征稀疏，导致泛化性和鲁棒性有限。相比之下，3D 高斯溅写 (3D Gaussian Splatting, 3DGS) 通过将场景表示为稠密连续分布，实现了高保真实时渲染且计算开销最小，这为捕捉细粒度可达性细节和提高识别精度提供了有效途径。然而，由于缺乏面向 3DGS 可达性的大规模数据集，其潜力尚未得到充分发挥。为克服此限制，本文提出了 3DAffordSplat——首个针对 3DGS 可达性推理的大规模多模态数据集。该数据集包含 23,677 个高斯实例、8,354 个点云实例和 6,631 项手动标注的可达性标签，覆盖 21 类物体和 18 类可达性类型。基于此数据集，我们引入 AffordSplatNet——一种专为 3DGS 表示设计的可达性推理新模型。AffordSplatNet 具备创新的跨模态结构对齐模块，通过利用结构一致性先验对齐 3D 点云与 3DGS 表示，实现更高的可达性识别精度。大量实验表明，3DAffordSplat 数据集显著推动了 3DGS 领域的可达性学习，而 AffordSplatNet 在见证和未见证场景下均显著优于现有方法，凸显了其强大的泛化能力。
引用
@article{arxiv.2504.11218,
title = {3DAffordSplat: Efficient Affordance Reasoning with 3D Gaussians},
author = {Zeming Wei and Junyi Lin and Yang Liu and Weixing Chen and Jingzhou Luo and Guanbin Li and Liang Lin},
journal= {arXiv preprint arXiv:2504.11218},
year = {2025}
}
备注
The first large-scale 3D Gaussians Affordance Reasoning Benchmark