通过主动问答从CNN中挖掘物体部件
计算机视觉与模式识别
2017-04-12 v1
摘要
给定预先训练用于物体分类的卷积神经网络(CNN)，本文提出使用主动问答来语义化该CNN卷积层中的神经模式并挖掘部件概念。对于每个部件概念，我们在预训练CNN中挖掘与目标部件相关的神经模式，并利用这些模式构建与或图(AOG)以表示部件的四层语义层次结构。作为可解释模型，AOG将不同CNN单元与不同显式物体部件相关联。我们使用主动人机交互来在预训练CNN上增量式地生长这样的AOG，具体如下。我们允许计算机主动识别其神经模式无法被当前AOG解释的物体。然后，计算机向人类询问这些未解释的物体，并利用答案自动发现对应于缺失知识的某些CNN模式。我们在主动学习过程中增量式地生长AOG以编码新发现的知识。实验中，我们的方法展现出高学习效率。我们的方法使用约1/6至1/3的部件标注进行训练，但取得了与fast-RCNN方法相似或更好的部件定位性能。
引用
@article{arxiv.1704.03173,
title = {Mining Object Parts from CNNs via Active Question-Answering},
author = {Quanshi Zhang and Ruiming Cao and Ying Nian Wu and Song-Chun Zhu},
journal= {arXiv preprint arXiv:1704.03173},
year = {2017}
}
备注
Published in CVPR 2017