聚焦实例分割
计算机视觉与模式识别
2025-03-31 v1 人工智能
摘要
实例分割对于增强现实和虚拟现实（AR/VR）至关重要，因为它能够实现对物体的精确识别和交互，从而提升虚拟与现实世界元素融合的沉浸式体验。然而，分割的高计算开销限制了其在资源受限的 AR/VR 设备上的应用，导致较大的处理延迟，影响用户体验。与常规场景不同，AR/VR 用户通常只关注其视野中少数几个区域，再转移视角，这使得分割可以集中处理注视区域的实例，从而大幅降低计算负担并提升实时性能。本文提出了一种聚焦实例分割（Foveated Instance Segmentation, FovealSeg）框架，利用实时的眼动数据，对感兴趣的实例进行分割，从而实现显著的计算节省。评估结果表明，FSNet 在 ADE20K 上实现 0.56 的 IoU，在 LVIS 上实现 0.54 的 IoU，显著优于基线方法。代码已公开于 https://github.com/SAI-
引用
@article{arxiv.2503.21854,
title = {Foveated Instance Segmentation},
author = {Hongyi Zeng and Wenxuan Liu and Tianhua Xia and Jinhui Chen and Ziyun Li and Sai Qian Zhang},
journal= {arXiv preprint arXiv:2503.21854},
year = {2025}
}