极化自注意力:迈向高质量像素级回归
计算机视觉与模式识别
2021-07-09 v2
摘要
像素级回归可能是细粒度计算机视觉任务中最常见的问题,例如估计关键点热图与分割掩码。这些回归问题极具挑战性,特别是因为它们需要在低计算开销下,对高分辨率输入/输出建模长程依赖,以估计高度非线性的像素级语义。尽管深度卷积神经网络(DCNNs)中的注意力机制已因增强长程依赖而流行,但如 Nonlocal 块之类的元素特定注意力学习起来高度复杂且对噪声敏感,并且大多数简化注意力混合方法试图在多种任务类型间达成最佳折衷。本文中,我们提出极化自注意力(PSA)块,其包含面向高质量像素级回归的两个关键设计:(1) 极化滤波:在通道与空间注意力计算中保持高内部分辨率,同时沿对应维度完全压缩输入张量。(2) 增强:组合直接拟合典型细粒度回归输出分布的非线性,例如二维高斯分布(关键点热图),或二维二项分布(二值分割掩码)。PSA 似乎已耗尽其仅通道与仅空间分支内的表示能力,因此其顺序与并行布局间仅有微小的指标差异。实验结果表明,在 2D 姿态估计与语义分割基准上,PSA 将标准基线提升 个点,并将最先进方法提升 个点。
引用
@article{arxiv.2107.00782,
title = {Polarized Self-Attention: Towards High-quality Pixel-wise Regression},
author = {Huajun Liu and Fuqiang Liu and Xinyi Fan and Dong Huang},
journal= {arXiv preprint arXiv:2107.00782},
year = {2021}
}