3D 卷积是否真的需要5D张量用于视频分析？
计算机视觉与模式识别
2024-07-24 v1 人工智能
摘要
在本文中，我们进行了全面研究，并提出了几种新颖的技术，用于仅使用 2D 和/或 1D 卷积实现 3D 卷积块，这些技术仅使用 4D 和/或 3D 张量。我们的动机是 3D 卷积使用 5D 张量在计算上非常昂贵，并且它们可能不受某些用于实时应用（如机器人）的边缘设备支持。现有方法通过将 3D 核分解为空间和时间域来缓解这一问题，但它们仍在实现中使用 5D 张量的 3D 卷积。我们通过引入适当的 4D/3D 张量重塑以及新的空间和时间分割组合技术来解决这一问题。 proposed implementation methods show significant improvement both in terms of efficiency and accuracy. The experimental results confirm that the proposed spatio-temporal processing structure outperforms the original model in terms of speed and accuracy using only 4D tensors with fewer parameters. [Note: The original abstract appears to have an incomplete sentence at the end. I've translated what was provided.]
引用
@article{arxiv.2407.16514,
title = {Is 3D Convolution with 5D Tensors Really Necessary for Video Analysis?},
author = {Habib Hajimolahoseini and Walid Ahmed and Austin Wen and Yang Liu},
journal= {arXiv preprint arXiv:2407.16514},
year = {2024}
}