解耦非局部神经网络
计算机视觉与模式识别
2020-09-09 v2 计算与语言
机器学习
摘要
非局部块是增强常规卷积神经网络上下文建模能力的常用模块。本文首先对非局部块进行深入研究,发现其注意力计算可拆分为两项:一项是刻画两个像素间关系的白化成对项,另一项是表示每个像素显著性的单一项。我们还观察到,单独训练这两项时倾向于建模不同的视觉线索,例如白化成对项学习区域内关系,而单一项学习显著边界。然而,这两项在非局部块中紧密耦合,阻碍了各自的学习。基于这些发现,我们提出解耦非局部块,将两项解耦以促成两者的学习。我们在多个任务上证明了该解耦设计的有效性,如 Cityscapes、ADE20K 和 PASCAL Context 上的语义分割,COCO 上的目标检测,以及 Kinetics 上的动作识别。
引用
@article{arxiv.2006.06668,
title = {Disentangled Non-Local Neural Networks},
author = {Minghao Yin and Zhuliang Yao and Yue Cao and Xiu Li and Zheng Zhang and Stephen Lin and Han Hu},
journal= {arXiv preprint arXiv:2006.06668},
year = {2020}
}