GaussianPU：基于 3D 高斯溶解的 2D-3D 混合彩色点云上采样框架

密集彩色点云增强视觉感知，在各种机器人应用中具有重要价值。然而，现有的基于学习的点云上采样方法受限于计算资源和批处理策略，通常需要将点云划分为更小的 patch，导致产生畸变并降低感知质量。为此，我们提出了一种新型 2D-3D 混合彩色点云上采样框架（GaussianPU），基于 3D 高斯溶解（3DGS）用于机器人感知。该方法利用 3DGS 将 3D 点云与机器人视觉系统中的 2D 渲染图像桥接。双尺度渲染图像恢复网络将稀疏点云渲染结果转化为稠密表示，然后输入 3DGS 以及精确的机器人相机姿态和插值稀疏点云，以重建稠密 3D 点云。我们对 vanilla 3DGS 进行了一系列改进，使能够精确控制点的数量，并显著提升上采样后点云的质量，以适用于机器人场景理解。我们的框架支持在单个消费级 GPU（如 NVIDIA GeForce RTX 3090）上处理整个点云，无需分段，从而产生高质量、稠密彩色点云，包含数百万个点，用于机器人导航和操作任务。广泛的实验结果表明，我们的方法在生成百万级点云数据方面有效，显著提高了彩色点云质量，展示了在自主机器人和人机交互场景中处理大规模点云数据的巨大潜力。