基于解耦块校准的高分辨率图像超像素生成
计算机视觉与模式识别
2021-08-24 v2
摘要
超像素分割近年来受益于可微分深度学习的进展取得了重要进步。然而,由于昂贵的内存与计算开销,极高分辨率超像素分割仍具挑战性,导致当前先进的超像素网络无法处理。本文中,我们设计了块校准网络(PCNet),旨在高效且准确地实现高分辨率超像素分割。PCNet 遵循由低分辨率输入产生高分辨率输出以节省 GPU 内存并降低计算成本的原则。为恢复下采样操作破坏的精细细节,我们提出一种新颖的解耦块校准(DPC)分支,用于协同增强主超像素生成分支。具体而言,DPC 从高分辨率图像中截取局部块并动态生成二值掩码,以迫使网络关注区域边界。通过共享 DPC 与主分支的参数,从高分块学到的精细细节知识将被迁移以助校准被破坏的信息。据我们所知,我们首次尝试考虑基于深度学习的高分辨率超像素生成。为推动该研究,我们从两个公开数据集与一个新构建的数据集上建立了评测基准,涵盖了从细粒度人体部位到城市场景的广泛多样性。大量实验表明,我们的 PCNet 不仅在量化结果上优于当前最优方法,还将 1080Ti GPU 上的分辨率上限从 3K 提升至 5K。
引用
@article{arxiv.2108.08607,
title = {Generating Superpixels for High-resolution Images with Decoupled Patch Calibration},
author = {Yaxiong Wang and Yunchao Wei and Xueming Qian and Li Zhu and Yi Yang},
journal= {arXiv preprint arXiv:2108.08607},
year = {2021}
}
备注
10 pages, superpixel segmentation. High-resolution Computer Version