通过主动问答从卷积网络挖掘可解释的AOG表示
计算机视觉与模式识别
2018-12-20 v1 机器学习
摘要
本文提出一种从预训练卷积神经网络(CNN)的卷积层挖掘对象-部件模式的方法。所挖掘的对象-部件模式由与或图(And-Or graph, AOG)组织。该可解释的AOG表示由四层语义层次构成，即语义部件、部件模板、潜在模式和神经单元。AOG将每个对象部件与卷积层特征图中的某些神经单元相关联。AOG以弱监督方式构建，即仅使用极少的对象部件标注(如3-20个)来指导AOG的学习。我们开发了一种问答(QA)方法，利用主动人机交互从预训练CNN中挖掘模式，以逐步解释卷积层中更多的特征。在学习过程中，我们的QA方法使用当前AOG进行部件定位。该QA方法主动识别其特征图无法被AOG解释的对象，然后请人们对这些未解释对象上的部件进行标注，并利用答案发现对应于新标注部件的CNN模式。通过这种方式，我们的方法在AOG上逐渐生长新分支并细化已有分支，从而使CNN表示语义化。实验中，我们的方法表现出较高的学习效率。我们的方法训练时仅使用了约1/6-1/3的部件标注，却取得了与fast-RCNN方法相似或更好的部件定位性能。
引用
@article{arxiv.1812.07996,
title = {Mining Interpretable AOG Representations from Convolutional Networks via Active Question Answering},
author = {Quanshi Zhang and Ruiming Cao and Ying Nian Wu and Song-Chun Zhu},
journal= {arXiv preprint arXiv:1812.07996},
year = {2018}
}
备注
arXiv admin note: text overlap with arXiv:1704.03173