探索三维卷积神经网络中的时间差分
计算机视觉与模式识别
2019-09-10 v1
摘要
传统三维卷积计算代价高、内存密集，且由于参数数量大，往往容易过拟合。另一方面，二维 CNN 比三维 CNN 计算代价更低、内存占用更少，并在图像分类和目标识别等应用中取得了显著成果。然而，在先前工作中观察到，当应用于时空输入时，它们劣于三维 CNN。在本工作中，我们提出一种卷积块，它通过执行二维卷积提取空间信息，并通过利用时间差分（即不同时间实例下空间信息的变化），使用平移、减法和加法的简单操作提取时间信息，而不利用任何可训练参数。所提卷积块具有与尺寸为 n×n 的二维卷积核相同的参数数量，即 n^2，且比 n×n×n 的三维卷积核少 n 倍参数。我们表明，当三维卷积核被所提卷积块替换时，三维 CNN 表现更好。我们在 UCF101 和 ModelNet 数据集上评估了所提卷积块。
引用
@article{arxiv.1909.03309,
title = {Exploring Temporal Differences in 3D Convolutional Neural Networks},
author = {Gagan Kanojia and Sudhakar Kumawat and Shanmuganathan Raman},
journal= {arXiv preprint arXiv:1909.03309},
year = {2019}
}