PicoSAM3：面向边缘与图像传感器的实时区域感兴趣分割
计算机视觉与模式识别
2026-03-13 v1
摘要
实时、设备内的分割对低延迟和隐私敏感的应用（如智能眼镜和物联网设备）至关重要。我们介绍 PicoSAM3，这是一个针对边缘计算和图像传感器内执行优化的轻量级可提示视觉分割模型，包括在 Sony IMX500 视觉传感器上的部署。PicoSAM3 仅有 130 万参数，融合密集 CNN 架构与区域感兴趣提示编码、有效通道注意力机制，以及来自 SAM2 和 SAM3 的知识蒸馏。在 COCO 和 LVIS 数据集上，PicoSAM3 分别实现了 65.45% 和 64.01% 的 mIoU，优于现有的基于 SAM 的模型和面向边缘的基线方法，同时在相同或更低的复杂度下表现更佳。经过 INT8 量化后的模型在保持几乎不变的精度的同时，实现了在 IMX500 上的 11.82 毫秒延迟的实时感知推理，完全符合其内存和算子约束。消融实验表明，来自大型 SAM 模型的蒸馏可使 mIoU 提升最高达 +14.5%，并证明了在传感器层面直接实现高质量、具有高度灵活性的可提示分割是可行的。
引用
@article{arxiv.2603.11917,
title = {PicoSAM3: Real-Time In-Sensor Region-of-Interest Segmentation},
author = {Pietro Bonazzi and Nicola Farronato and Stefan Zihlmann and Haotong Qin and Michele Magno},
journal= {arXiv preprint arXiv:2603.11917},
year = {2026}
}