基于感知运动一致性的无监督连贯视频卡通化
计算机视觉与模式识别
2022-04-05 v1
摘要
近年来，风格迁移与神经照片编辑等创意内容生成日益受到关注。其中，真实场景的卡通化在娱乐与工业领域具有广阔应用前景。与侧重于改善生成图像风格效果的图像翻译不同，视频卡通化对时间一致性有额外要求。本文提出一种具有感知运动一致性的空间自适应语义对齐框架，以无监督方式实现连贯视频卡通化。语义对齐模块旨在修复由编码器-解码器架构中空间信息丢失所引起的语义结构形变。此外，我们设计时空相关图作为对感知运动一致性的风格无关、全局感知正则化。该图源自照片帧与卡通帧高层特征的相似性度量，捕捉光流中原始像素值之外的全局语义信息。并且，该相似性度量将时间关系与领域特定风格属性解耦，有助于在不损害卡通图像风格效果的前提下正则化时间一致性。定性与定量实验表明，我们的方法能够生成高度风格化且时间一致的卡通视频。
引用
@article{arxiv.2204.00795,
title = {Unsupervised Coherent Video Cartoonization with Perceptual Motion Consistency},
author = {Zhenhuan Liu and Liang Li and Huajie Jiang and Xin Jin and Dandan Tu and Shuhui Wang and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2204.00795},
year = {2022}
}