FADE：融合解码器与编码器资产的任务无关上采样算子
计算机视觉与模式识别
2022-12-29 v2
摘要
我们研究密集预测中的任务无关特征上采样问题，该问题要求上采样算子同时适用于语义分割等区域敏感任务与图像抠图等细节敏感任务。现有上采样算子往往仅能在其中一类任务表现良好，而无法兼顾两者。本文提出 FADE，一种新颖、即插即用且任务无关的上采样算子。FADE 得益于三项设计：i) 在上采样核生成中联合考虑编码器与解码器特征；ii) 一种高效的半偏移卷积算子，可精细控制各特征点对上采样核的贡献；iii) 一种依赖解码器的门控机制以增强细节刻画。我们首先在合成数据上研究 FADE 的上采样特性，随后在大规模语义分割与图像抠图任务上评估。具体而言，FADE 在不同任务中持续优于近期动态上采样算子，展现出其有效性与任务无关特性；它还能以极小计算开销良好泛化于卷积与 transformer 架构。本研究进一步对任务无关上采样的本质提供了深入见解。代码见：http://lnkiy.in/fade_in
引用
@article{arxiv.2207.10392,
title = {FADE: Fusing the Assets of Decoder and Encoder for Task-Agnostic Upsampling},
author = {Hao Lu and Wenze Liu and Hongtao Fu and Zhiguo Cao},
journal= {arXiv preprint arXiv:2207.10392},
year = {2022}
}
备注
Accepted to ECCV 2022. Code is available at http://lnkiy.in/fade_in