面向跨域表示的向量学习
机器学习
2018-09-28 v1 机器学习
摘要
近来，生成对抗网络（GAN）在图像生成任务中颇受青睐。然而，此类模型涉及复杂的学习机制，且需要非常大规模的相关数据集。本工作借鉴图像与视频描述模型中的概念，构建了一个图像生成框架。该模型以类似于循环描述模型的训练方式进行训练，并利用所学权重进行图像生成。这是在反向方向上进行的：输入为描述文本，输出为图像。句子与帧的向量表示提取自一个编码器-解码器模型，该模型最初在相似的句子-图像对上训练。我们的模型以自然语言描述为条件进行图像生成。我们利用序列到序列模型生成具有相同语义的合成描述，以实现鲁棒的图像生成。我们方法的一个关键优势在于，传统的图像描述数据集可用于合成句子复述。结果表明，通过多条描述生成的图像能更好地捕捉该描述族的语义含义。
引用
@article{arxiv.1809.10312,
title = {Vector Learning for Cross Domain Representations},
author = {Shagan Sah and Chi Zhang and Thang Nguyen and Dheeraj Kumar Peri and Ameya Shringi and Raymond Ptucha},
journal= {arXiv preprint arXiv:1809.10312},
year = {2018}
}
备注
5 pages, 7 figures, published in 2017 IEEE Applied Imagery Pattern Recognition Workshop (AIPR)