可切换时间传播网络
计算机视觉与模式识别
2018-05-07 v2
摘要
视频帧间包含高度冗余的信息。此类冗余已在视频压缩与编码中被广泛研究，但在更先进的视频处理中较少被探索。本文中，我们提出一种可学习的统一框架，用于传播视频图像的各种视觉属性，包括但不限于颜色、高动态范围（HDR）与分割信息，其中这些属性仅对少数关键帧可用。我们的方法基于时间传播网络（TPN），其以纯数据驱动方式建模帧对之间与转移相关的亲和度。我们从理论上证明TPN的两个本质因素：(a) 通过将全局变换矩阵正则化为正交，属性的“风格能量”可在传播中良好保持；(b) 该正则化可由所提出的可切换TPN通过对帧对双向训练实现。我们将可切换TPN应用于三项任务：基于少量彩色关键帧为灰度视频上色、由低动态范围（LDR）视频与少量HDR帧生成HDR视频、以及从视频首帧传播分割掩码。实验结果表明，我们的方法比最先进的方法显著更准确且更高效。
引用
@article{arxiv.1804.08758,
title = {Switchable Temporal Propagation Network},
author = {Sifei Liu and Guangyu Zhong and Shalini De Mello and Jinwei Gu and Varun Jampani and Ming-Hsuan Yang and Jan Kautz},
journal= {arXiv preprint arXiv:1804.08758},
year = {2018}
}