手工局部特征即卷积神经网络
计算机视觉与模式识别
2015-11-20 v2
摘要
图像和视频分类研究通过手工局部特征和基于学习的特征的发展取得了很大进展。这两种架构大致在同一时间提出，并在历史重叠阶段蓬勃发展。然而，它们通常被视为不同的方法。在本文中，我们强调它们的结构相似性，并展示这种统一视角如何帮助设计平衡效率和效果的特征。作为一个例子，我们研究设计高效的视频特征学习算法用于动作识别的问题。我们通过首先展示局部手工特征和卷积神经网络(CNNs)共享相同的卷积-池化网络结构来处理这个问题。然后我们提出一个双流卷积ISA (ConvISA)，它采用最先进的手工视频特征的卷积-池化结构，具有更大的建模能力和成本高效的训练算法。通过对像素和光流定制设计的网络结构，我们的方法也反映了这两种数据源的独特性。我们在标准动作识别基准上的实验结果表明，通过关注CNN的结构，而不是端到端训练方法，我们能够设计一个高效且强大的视频特征学习算法。
引用
@article{arxiv.1511.05045,
title = {Handcrafted Local Features are Convolutional Neural Networks},
author = {Zhenzhong Lan and Shoou-I Yu and Ming Lin and Bhiksha Raj and Alexander G. Hauptmann},
journal= {arXiv preprint arXiv:1511.05045},
year = {2015}
}