基于域层归一化的无监督风格化图像描述生成
计算机视觉与模式识别
2018-09-18 v1 计算与语言
机器学习
摘要
现有图像描述工作大多聚焦于生成富有表现力的描述。少数致力于生成风格化（如浪漫、抒情等）描述的工作存在风格变化有限和内容偏离的问题。为解决这些局限，我们提出了一种可控的风格化图像描述生成模型。该模型能够学习生成与图像内容更相关的风格化图像描述，并且可以使用任意单语语料进行训练，而无需收集新的图像与风格化描述配对数据。此外，它允许用户通过将特定风格的参数插入现有模型来生成多种风格化描述，从而将新风格纳入其中。我们通过一种新颖的层归一化层设计实现了这一能力，我们称之为域层归一化（Domain Layer Norm, DLN）。我们在多种风格化图像描述生成任务上进行了大量实验验证和用户研究，以展示所提模型的竞争优势。
引用
@article{arxiv.1809.06214,
title = {Unsupervised Stylish Image Description Generation via Domain Layer Norm},
author = {Cheng Kuan Chen and Zhu Feng Pan and Min Sun and Ming-Yu Liu},
journal= {arXiv preprint arXiv:1809.06214},
year = {2018}
}