用于结构化分层视频分解的可控注意力
计算机视觉与模式识别
2019-10-25 v1 神经与进化计算
图像与视频处理
摘要
本文的目标是能够将视频分离为其自然图层，并控制关注哪些被分离的图层。例如，能够分离反射、透明或物体运动。我们作出以下三点贡献：（i）我们引入一种新的结构化神经网络架构，在其设计中显式地将图层（作为空间掩码）纳入其中。这相比此前用于该任务的通用网络提升了分离性能；（ii）我们证明可以扩充该架构以利用诸如音频等外部线索来实现可控性并辅助消歧；（iii）我们通过受控实验在实验上证明了我们的方法与训练流程的有效性，同时表明所提模型可成功应用于真实场景应用，如反射去除与杂乱场景中的动作识别。
引用
@article{arxiv.1910.11306,
title = {Controllable Attention for Structured Layered Video Decomposition},
author = {Jean-Baptiste Alayrac and João Carreira and Relja Arandjelović and Andrew Zisserman},
journal= {arXiv preprint arXiv:1910.11306},
year = {2019}
}
备注
In ICCV 2019