ESAM++：边缘端高效在线 3D 感知
计算机视觉与模式识别
2026-05-29 v1
摘要
在机器人、AR/VR 和自主系统中，实时进行 3D 场景感知至关重要，尤其是在计算资源有限且注重隐私的边缘计算场景下。最新 SOTA 方法如 EmbodiedSAM (ESAM) 通过利用 Segment Anything Model (SAM) 实现了针对实时、细粒度和通用的 3D 实例分割的在线 3D 感知，显示出巨大的潜力。然而，ESAM 仍依赖计算密集型 3D 稀疏 UNet 进行点云特征提取，这占据了 3D 推理时间的绝大部分，限制了其在资源受限设备上的实用性。本文提出 ESAM++，一种为无 GPU 加速的边缘设备量身定制的轻量级且可扩展的在线 3D 场景感知方法。我们引入 3D 稀疏特征金字塔网络 (SFPN)，有效捕获流式 3D 点云的多尺度几何特征，同时显著降低计算开销和模型规模。在四个具有挑战性的分割基准数据集上进行评估，包括 ScanNet、ScanNet200、SceneNN 和 3RScan，结果表明我们的模型在保持竞争精度的同时，推理速度提升最高可达 3 倍，模型规模缩小 2 倍，使其能够在边缘设备上实现实际部署。
引用
@article{arxiv.2605.29505,
title = {ESAM++: Efficient Online 3D Perception on the Edge},
author = {Qin Liu and Lavisha Aggarwal and Saptarashmi Bandyopadhyay and Vikas Bahirwani and Marc Niethammer and Ehsan Adeli and Andrea Colaco},
journal= {arXiv preprint arXiv:2605.29505},
year = {2026}
}