面向深度图像抠图的学习亲和度感知上采样
计算机视觉与模式识别
2020-12-01 v1
摘要
我们表明，在上采样中学习亲和度提供了一种有效且高效的方法来利用深度网络中的成对交互。二阶特征常用于密集预测，以在如上采样（如非局部块）之后通过可学习模块建立相邻关系。由于上采样至关重要，在上采样中学习亲和度可避免额外的传播层，为构建紧凑模型提供可能。从统一数学视角审视现有上采样算子，我们将其推广为二阶形式，并引入亲和度感知上采样（A2U），其中上采样核由轻量级低秩双线性模型生成，并以二阶特征为条件。我们的上采样算子也可扩展至下采样。我们讨论了 A2U 的替代实现，并在两个对细节敏感的任务上验证其有效性：玩具数据集上的图像重建；以及大规模图像抠图任务，其中基于亲和度的思想构成主流抠图方法。特别地，Composition-1k 抠图数据集上的结果表明，A2U 相较强基线在 SAD 度量上取得 14% 的相对提升，而参数增加可忽略（<0.5%）。与 SOTA 抠图网络相比，我们以仅 40% 的模型复杂度实现了 8% 更高的性能。
引用
@article{arxiv.2011.14288,
title = {Learning Affinity-Aware Upsampling for Deep Image Matting},
author = {Yutong Dai and Hao Lu and Chunhua Shen},
journal= {arXiv preprint arXiv:2011.14288},
year = {2020}
}