面向移动与Web应用的边界感知分割网络
计算机视觉与模式识别
2021-05-12 v2
摘要
尽管深度模型已大幅提升了图像分割的精度与鲁棒性，但获得具有高度准确边界与精细结构的分割结果仍是一个难题。本文提出一种简洁而强大的边界感知分割网络（BASNet），其由预测-精炼架构与混合损失构成，用于高精度图像分割。预测-精炼架构包含一个密集监督的编码器-解码器网络与一个残差精炼模块，分别用于预测与精炼分割概率图。混合损失由二元交叉熵、结构相似性与交并比损失组合而成，引导网络学习三级（即像素级、块级与图级）层次化表示。我们在显著目标分割、伪装目标分割这两个逆向任务上评估 BASNet，表明其以锐利分割边界取得了极具竞争力的性能。重要的是，BASNet 在单块 GPU 上以超过 70 fps 的速度运行，惠及诸多潜在实际应用。基于 BASNet，我们进一步开发了两种（接近）商业的应用：AR COPY & PASTE，其中 BASNet 与增强现实集成以实现现实物体的“复制”与“粘贴”；以及 OBJECT CUT，一种用于自动物体背景去除的 Web 工具。两款应用均已引起大量关注并产生重要现实影响。代码与两款应用将公开于：https://github.com/NathanUA/BASNet。
引用
@article{arxiv.2101.04704,
title = {Boundary-Aware Segmentation Network for Mobile and Web Applications},
author = {Xuebin Qin and Deng-Ping Fan and Chenyang Huang and Cyril Diagne and Zichen Zhang and Adrià Cabeza Sant'Anna and Albert Suàrez and Martin Jagersand and Ling Shao},
journal= {arXiv preprint arXiv:2101.04704},
year = {2021}
}
备注
18 pages, 16 figures, submitted to TPAMI