通过空间传播网络学习亲和度
计算机视觉与模式识别
2017-10-04 v1 机器学习
摘要
本文提出了用于学习视觉任务亲和度矩阵的空间传播网络。我们证明，通过构建行/列线性传播模型，空间变化的变换矩阵恰好构成了一个亲和度矩阵，该矩阵对图像中密集的、全局的成对关系进行建模。具体而言，我们为线性传播模型开发了一种三向连接，它(a)构建了一个稀疏变换矩阵，其中所有元素都可以是深度CNN的输出，但(b)产生了一个密集的亲和度矩阵，有效地对任何任务特定的成对相似度矩阵进行建模。我们无需根据两点的图像特征设计相似度核，而是可以以纯粹数据驱动的方式直接输出所有相似度。空间传播网络是一个通用框架，可应用于许多与亲和度相关的任务，包括但不限于图像抠图、分割和着色等。本质上，由于深度神经网络分类器强大的学习能力，该模型可以为高层视觉任务学习语义感知的亲和度值。我们在图像分割边界细化任务上验证了该框架。在HELEN人脸解析和PASCAL VOC-2012语义分割任务上的实验表明，空间传播网络为生成高质量分割结果提供了一种通用、有效且高效的解决方案。
引用
@article{arxiv.1710.01020,
title = {Learning Affinity via Spatial Propagation Networks},
author = {Sifei Liu and Shalini De Mello and Jinwei Gu and Guangyu Zhong and Ming-Hsuan Yang and Jan Kautz},
journal= {arXiv preprint arXiv:1710.01020},
year = {2017}
}
备注
A long version of NIPS 2017