基于预测编码的精简门卷积LSTM用于时空预测
机器学习
2020-01-24 v9 计算机视觉与模式识别
机器学习
摘要
时空序列预测是深度学习中的一个重要问题。我们研究基于深度学习的预测编码框架下的未来帧视频预测，该框架使用卷积长短期记忆（convLSTM）模块。我们提出了一种新颖的精简门卷积LSTM（rgcLSTM）架构，其参数预算显著低于可比较的convLSTM。通过使用单一多功能门，我们的精简门模型在使用更小参数预算的同时，达到了与原始卷积LSTM相等或更好的未来帧预测精度，从而减少了训练时间和内存需求。我们在预测编码架构中于moving MNIST和KITTI数据集上测试了我们的精简门模块。我们发现，与标准卷积LSTM模型相比，我们的精简门模型的总训练参数数量显著减少了约40%，训练耗时减少了25%。新模型的性能精度也有所提升。这使得我们的模型在硬件实现上更具吸引力，尤其是在小型设备上。我们还探索了二十种不同门控架构的空间，以深入了解我们的rgcLSTM如何适配该空间。
引用
@article{arxiv.1810.07251,
title = {Reduced-Gate Convolutional LSTM Using Predictive Coding for Spatiotemporal Prediction},
author = {Nelly Elsayed and Anthony S. Maida and Magdy Bayoumi},
journal= {arXiv preprint arXiv:1810.07251},
year = {2020}
}
备注
A novel rgcLSTM model for spatiotemporal prediction. This version contains the full description and detailed empirical study of the rgcLSTM architecture. 28 pages, 12 figures, 20 tables