论属性预测与语义分割的共生关系
计算机视觉与模式识别
2019-11-27 v1
摘要
本文提出利用语义分割来改进人物相关属性预测。其核心思想在于，某一属性在图像中出现的概率在空间域上远非均匀。我们将属性预测模型与深度语义分割网络联合构建。这利用了语义分割学习到的定位线索，将属性预测的关注引导至不同属性自然出现的区域。因此，除预测外，尽管训练时仅能获取图像级标签（弱监督），我们仍能够定位属性。我们首先提出基于语义分割的池化与门控，分别记为SSP和SSG。前者中，估计的分割掩码用于从多个语义同质区域对属性预测网络的最终激活进行池化。在SSG中，相同思想应用于网络的中间层。SSP和SSG虽然有效，但由于激活的每个通道都需与所有语义分割掩码进行池化/门控，导致内存占用高昂。为规避此问题，我们提出共生增强（SA），为每个激活通道仅学习一个掩码。SA允许模型挑选一个或组合（加权叠加）多个语义图，以生成各通道的合适掩码。SA同时将同一机制应用于反向问题，利用属性预测的输出logits引导语义分割任务。我们在CelebA和LFWA数据集上评估所提的人脸属性方法，并在WIDER Attribute和Berkeley Attributes of People上基准测试全身属性。我们提出的方法取得了优于以往工作的结果。
引用
@article{arxiv.1911.11612,
title = {On Symbiosis of Attribute Prediction and Semantic Segmentation},
author = {Mahdi M. Kalayeh and Mubarak Shah},
journal= {arXiv preprint arXiv:1911.11612},
year = {2019}
}
备注
Accepted for publication in PAMI. arXiv admin note: substantial text overlap with arXiv:1704.08740