通过记忆对齐学习回溯长期运动上下文的视频预测
计算机视觉与模式识别
2021-04-05 v1
摘要
我们的工作致力于解决预测未来帧时的长期运动上下文问题。为精确预测未来，需要捕捉输入运动（如腿部运动）所属的长期运动上下文（如行走或奔跑）。处理长期运动上下文时的瓶颈在于：（i）如何以自然匹配具有有限动态的输入序列的方式预测长期运动上下文；（ii）如何对高维度（如复杂运动）的长期运动上下文进行预测。针对这些问题，我们提出了新颖的运动上下文感知视频预测。为解决瓶颈（i），我们引入了具有记忆对齐学习的长期运动上下文记忆（LMC-Memory）。所提出的记忆对齐学习能够将长期运动上下文存入记忆，并将其与包含有限动态序列相匹配。因此，可从有限的输入序列中回溯长期上下文。此外，为解决瓶颈（ii），我们提出记忆查询分解以存储局部运动上下文（即低维动态）并分别为输入的每个局部部分召回合适的局部上下文。这能够增强记忆的对齐效果。实验结果表明，所提方法优于其他复杂的基于 RNN 的方法，尤其在长期条件下。进一步地，我们通过消融研究与记忆特征分析验证了所提网络设计的有效性。本工作的源代码已公开。
引用
@article{arxiv.2104.00924,
title = {Video Prediction Recalling Long-term Motion Context via Memory Alignment Learning},
author = {Sangmin Lee and Hak Gu Kim and Dae Hwi Choi and Hyung-Il Kim and Yong Man Ro},
journal= {arXiv preprint arXiv:2104.00924},
year = {2021}
}
备注
CVPR 2021 (Oral)