中文

SIN:超像素插值网络

计算机视觉与模式识别 2021-10-19 v1

摘要

超像素因其表征与计算效率被广泛用于计算机视觉任务。同时,深度学习和端到端框架在包括计算机视觉在内的多个领域取得了巨大进展。然而,现有超像素算法无法以端到端方式集成到后续任务中。传统算法和基于深度学习的算法是超像素分割的两大主流。前者不可微,后者需要不可微的后处理步骤以强制连通性,这限制了超像素与下游任务的集成。本文提出一种基于深度学习的超像素分割算法 SIN,可端到端地与下游任务集成。由于视觉跟踪等下游任务需要实时速度,生成超像素的速度也很重要。为去除后处理步骤,我们的算法从一开始就强制空间连通性。超像素由采样像素初始化,其他像素通过多次更新步骤分配给超像素。每步包含一次水平插值和一次垂直插值,这是强制空间连通性的关键。利用全卷积网络的多层输出来预测插值的关联分数。实验结果表明,我们的方法以约 80fps 运行,且优于当前最优方法。此外,我们设计了一个简单而有效的损失函数,大幅减少了训练时间。基于超像素任务的改进证明了我们算法的有效性。我们希望 SIN 能以端到端方式集成到下游任务中,并惠及超像素相关社区。代码见:\href{https://github.com/yuanqqq/SIN}{https://github.com/yuanqqq/SIN}。

关键词

引用

@article{arxiv.2110.08702,
  title  = {SIN:Superpixel Interpolation Network},
  author = {Qing Yuan and Songfeng Lu and Yan Huang and Wuxin Sha},
  journal= {arXiv preprint arXiv:2110.08702},
  year   = {2021}
}

备注

15 pages, 8 figures, to be published in PRICAI-2021