ZM-Net：实时零样本图像操控网络
计算机视觉与模式识别
2017-03-23 v2 人工智能
图形学
机器学习
机器学习
摘要
图像处理与计算机视觉中的许多问题（例如着色、风格迁移）可被表述为在给定用户指定引导信号的情况下，将输入图像“操控”为对应的输出图像。面向通用图像操控的终极解决方案应能利用任何个性化信号（甚至是训练期间未见的信号），如多样的画作和任意描述性属性，高效地改变输入图像。然而，现有方法要么无法同时高效处理多个信号（更不用说泛化至未见信号），要么无法处理来自其他模态的信号。在本文中，我们首次尝试解决零样本图像操控任务。我们将该问题转化为根据一个参数模型操控输入图像，该模型的关键参数可由任何引导信号（甚至是未见信号）条件生成。为此，我们提出了零样本操控网络 (Zero-shot Manipulation Net, ZM-Net)，这是一种联合优化图像转换网络 (TNet) 和参数网络 (PNet) 的全可微架构。PNet 学习在给定任何引导信号时为 TNet 生成关键转换参数，而 TNet 则根据来自 PNet 的信号相关参数和 TNet 自身的信号无关参数执行快速零样本图像操控。大量实验表明，我们的 ZM-Net 能够以实时速度（每张图像数十毫秒）对不同形式的引导信号（例如风格图像和属性）进行高质量图像操控，即使是对于未见信号亦然。此外，还构建了一个包含超过 20,000 张风格图像的大规模风格数据集，以促进进一步研究。
引用
@article{arxiv.1703.07255,
title = {ZM-Net: Real-time Zero-shot Image Manipulation Network},
author = {Hao Wang and Xiaodan Liang and Hao Zhang and Dit-Yan Yeung and Eric P. Xing},
journal= {arXiv preprint arXiv:1703.07255},
year = {2017}
}