用于任务迁移的语义 Fisher 分数：利用物体分类场景
计算机视觉与模式识别
2019-05-29 v1
摘要
本文考虑了将训练用于识别物体的神经网络（CNN）迁移到场景分类任务。首先通过向物体 CNN 输入场景图像块，并以随后的后验类别概率向量袋（语义后验）表示场景图像，从而诱导出语义袋（BoS）表示。然后研究了用 Fisher 向量（FV）对 BoS 进行编码。建立了任何概率模型的 FV 与用于通过最大似然估计其参数的期望最大化（EM）算法的 Q 函数之间的联系。最后提出了 MFA Fisher 分数（MFA-FS）的网络实现，记为 MFAFSNet，以实现端到端训练。使用各种物体 CNN 和数据集的实验表明，该方法具有最先进的迁移性能。有些令人惊讶的是，场景分类结果优于使用大型场景数据集（Places）显式训练用于场景分类的 CNN。这表明整体分析对于场景分类是不充分的。局部物体语义的建模似乎至少同等重要。这两种方法还被证明是强互补的，结合时带来非常大的场景分类增益，并以可观的幅度优于所有先前的场景分类方法。
引用
@article{arxiv.1905.11539,
title = {Semantic Fisher Scores for Task Transfer: Using Objects to Classify Scenes},
author = {Mandar Dixit and Yunsheng Li and Nuno Vasconcelos},
journal= {arXiv preprint arXiv:1905.11539},
year = {2019}
}
备注
16 pages, 11 figures, accepted by TPAMI