迁移物体-场景卷积神经网络用于静态图像中的事件识别
计算机视觉与模式识别
2016-09-02 v1
摘要
静态图像中的事件识别是一个引人入胜的问题，并具有实际应用的潜力。本文通过提出一种利用物体和场景知识进行事件分类的卷积神经网络（OS2E-CNN）来解决事件识别问题。直观上，物体、场景和事件概念之间存在相关性是有道理的。我们通过实验证明，物体和场景的识别对事件的识别有实质性贡献。同时，我们提出了一种迭代选择方法，以识别一个物体和场景类别的子集，这有助于更高效、更有效地将其深度表示迁移到事件识别中。具体来说，我们开发了三种类型的迁移技术：（1）基于初始化的迁移，（2）基于知识的迁移，以及（3）基于数据的迁移。这些新设计的迁移技术利用多任务学习框架，将来自其他网络和额外数据集的外部知识整合到事件 CNN 的训练过程中。这些多任务学习框架被证明能有效减少过拟合的影响，并提高所学 CNN 的泛化能力。借助 OS2E-CNN，我们设计了一种多比例和多尺度裁剪策略，并提出了一个端到端的事件识别流程。我们在三个事件识别基准数据集上进行了实验：ChaLearn 文化事件识别数据集、Web 图像事件识别数据集（WIDER）和 UIUC 体育事件数据集。实验结果表明，我们提出的算法成功地将物体和场景表示适配到事件数据集，并在这些具有挑战性的数据集上达到了当前最先进的性能。
引用
@article{arxiv.1609.00162,
title = {Transferring Object-Scene Convolutional Neural Networks for Event Recognition in Still Images},
author = {Limin Wang and Zhe Wang and Yu Qiao and Luc Van Gool},
journal= {arXiv preprint arXiv:1609.00162},
year = {2016}
}
备注
20 pages