PanoSAM2：面向360°视频目标分割的SAM2轻量畸变与记忆适配方案
计算机视觉与模式识别
2026-04-10 v1
摘要
360视频目标分割（360VOS）旨在预测360视频中具有时序一致性的掩码，提供全场景覆盖，适用于VR/AR和具身AI等应用。学习360VOS模型面临数据标注稀缺的挑战。最近，基于Segment Anything Models（SAMs），特别是SAM2——其设计了记忆模块——显示出强大的可提示VOS能力。然而，直接将SAM2用于360VOS会产生不合理结果，因为360视频受到投影畸变、左右侧语义不一致以及SAM2记忆中稀疏目标掩码信息的影响。为此，我们提出PanoSAM2，一种基于SAM2轻量畸变和记忆感知适配策略的360VOS框架，以实现可靠的360VOS，同时保留SAM2的用户友好提示设计。具体而言，为解决投影畸变和语义不一致问题，我们提出Pano-Aware解码器，配合缝隙一致感受野和迭代畸变细化，以维持0/360度边界的连续性。同时，引入基于畸变引导的掩码损失，对像素按畸变幅度加权，强调拉伸区域和边界。为解决目标稀疏问题，我们提出长短期记忆模块，以维护紧凑的长期目标指针以重新实例化和对齐短期记忆，从而增强时序一致性。大量实验表明，PanoSAM2在SAM2基础上在360VOTS和PanoVOS上分别提升了5.6和6.7，显示方法有效性。
引用
@article{arxiv.2604.07901,
title = {PanoSAM2: Lightweight Distortion- and Memory-aware Adaptions of SAM2 for 360 Video Object Segmentation},
author = {Dingwen Xiao and Weiming Zhang and Shiqi Wen and Lin Wang},
journal= {arXiv preprint arXiv:2604.07901},
year = {2026}
}