Matching-CNN 邂逅 KNN：准参数化人体解析
计算机视觉与模式识别
2015-04-07 v1
摘要
参数化与非参数化方法均在人体解析任务（即将人体图像分割为若干语义区域，如帽子、包、左臂、面部等）中展现出令人鼓舞的性能。在本工作中，我们旨在开发一种兼具两者优势的新方案，即利用标注数据的监督信息以及使用新标注（可能是不常见）图像的灵活性，并提出一种准参数化人体解析模型。在经典的基于 K 近邻（KNN）的非参数化框架下，我们提出了参数化的匹配卷积神经网络（M-CNN），用于预测测试图像中特定语义区域与某张 KNN 图像中最佳匹配区域的匹配置信度及位移。给定一张测试图像，我们首先从标注/人工解析的人体图像库中检索其 KNN 图像。随后，利用 M-CNN 将每张 KNN 图像中的每个语义区域以置信度匹配到测试图像，并将来自所有 KNN 图像的匹配区域进行融合，最后经过超像素平滑处理以获得最终的人体解析结果。M-CNN 不同于经典 CNN 之处在于，引入了定制的跨图像匹配滤波器来表征测试图像与 KNN 图像语义区域之间的匹配关系。跨图像匹配滤波器定义在不同的卷积层，每一层旨在捕捉特定范围的位移。在包含 7,700 张标注人体图像的大型数据集上的综合评估充分表明，对于人体解析任务，该准参数化模型相较于最先进方法具有显著的性能提升。
引用
@article{arxiv.1504.01220,
title = {Matching-CNN Meets KNN: Quasi-Parametric Human Parsing},
author = {Si Liu and Xiaodan Liang and Luoqi Liu and Xiaohui Shen and Jianchao Yang and Changsheng Xu and Liang Lin and Xiaochun Cao and Shuicheng Yan},
journal= {arXiv preprint arXiv:1504.01220},
year = {2015}
}
备注
This manuscript is the accepted version for CVPR 2015