时空循环记忆网络
计算机视觉与模式识别
2022-07-08 v2 人工智能
摘要
Transformer 近期在时空域的学习与推理中颇受欢迎。然而，其性能依赖于存储并对视频中每一帧的特征张量施加注意力。因此，其空间与时间复杂度随视频长度线性增长，对于长视频而言代价可能非常高。我们提出一种新颖的视觉记忆网络架构，用于时空域的学习与推理问题。我们在记忆网络中维护一组固定的记忆槽，并基于 Gumbel-Softmax 提出一种学习自适应更新该记忆的策略的算法。最后，该架构在视频目标分割（VOS）与视频预测任务上进行了基准测试。我们证明，我们的记忆架构取得了最先进的结果，在 VOS 上优于基于 Transformer 的方法，在视频预测上优于其他近期方法，同时保持与序列长度无关的恒定记忆容量。
引用
@article{arxiv.2109.06474,
title = {Space Time Recurrent Memory Network},
author = {Hung Nguyen and Chanho Kim and Fuxin Li},
journal= {arXiv preprint arXiv:2109.06474},
year = {2022}
}