时间交织网络
计算机视觉与模式识别
2020-01-22 v1
摘要
长期以来，视觉界试图通过将卷积神经网络与各种时间模型（如马尔可夫链、光流、RNN和时间卷积等系列）相结合来学习时空表示。然而，由于空间与时间信息的交替学习过程，这些流水线消耗了巨大的计算资源。一个自然的问题是，我们是否可以将时间信息嵌入到空间信息中，从而两域中的信息可以一次性联合学习。在本工作中，我们通过提出一个简单而强大的算子——时间交织网络（TIN）来回答这个问题。TIN不对时间特征进行学习，而是通过将从过去到未来的空间表示相互交织（反之亦然）来融合两类信息。一个可微分的交织目标可被学习以控制交织过程。如此，一个沉重的时间模型被一个简单的交织算子所取代。我们从理论上证明，在可学习交织目标下，TIN与正则化时间卷积网络（r-TCN）性能等价，但在6个具有挑战性的基准上以6倍更低的延迟获得了4%更高的准确率。这些结果将视频理解的state-of-the-art性能显著推高。毫不意外，所提出的TIN集成模型在ICCV19 - Multi Moments in Time挑战赛中获得了第1名。代码已发布于https://github.com/deepcs233/TIN以促进进一步研究。
引用
@article{arxiv.2001.06499,
title = {Temporal Interlacing Network},
author = {Hao Shao and Shengju Qian and Yu Liu},
journal= {arXiv preprint arXiv:2001.06499},
year = {2020}
}
备注
Accepted to AAAI 2020. Winning entry of ICCV Multi-Moments in Time Challenge 2019. Code is available at https://github.com/deepcs233/TIN