通过学采样来学上采样
计算机视觉与模式识别
2023-08-30 v1
摘要
我们提出DySample，一种超轻量且高效的动态上采样器。尽管以CARAFE、FADE和SAPA为代表的近期基于核的动态上采样器取得了令人印象深刻的性能提升，但它们引入了大量计算开销，主要源于耗时的动态卷积以及用于生成动态核的额外子网络。此外，FADE和SAPA对高分辨率特征引导的需求在某种程度上限制了其应用场景。为解决这些问题，我们绕开动态卷积，从点采样的视角来构建上采样，其资源效率更高，且可利用PyTorch中标准内置函数轻松实现。我们首先展示了一个朴素设计，随后演示如何逐步强化其上采样行为以得到我们的新上采样器DySample。与先前基于核的动态上采样器相比，DySample无需定制CUDA包，且参数量、FLOPs、GPU显存与延迟均大幅减少。除轻量特性外，DySample在语义分割、目标检测、实例分割、全景分割和单目深度估计五项密集预测任务上均优于其他上采样器。代码见 https://github.com/tiny-smart/dysample。
引用
@article{arxiv.2308.15085,
title = {Learning to Upsample by Learning to Sample},
author = {Wenze Liu and Hao Lu and Hongtao Fu and Zhiguo Cao},
journal= {arXiv preprint arXiv:2308.15085},
year = {2023}
}
备注
Accepted by ICCV 2023