基于局部化风格的多样性图像描述生成
介观与纳米尺度物理
2022-07-12 v2 强关联电子
摘要
先前工作提出的风格化图像描述旨在生成反映场景构成事实描述之外特征的标题，例如情感。此类先前工作依赖于给定的情感标识符，用以在标题中表达某种全局风格（如正面或负面），却未考虑视觉场景的风格化内容。为弥补这一不足，我们首先分析当前风格化描述数据集的局限，并提出基于 COCO 属性的增广方法，以从 COCO 标注中获得多样化的风格化标题。此外，我们将风格化信息编码于变分自编码器（Variational Autoencoder）的潜空间中；具体而言，我们利用提取的图像属性，依据不同的局部化风格特征对其序列潜空间进行显式结构化。我们在 Senticap 与 COCO 数据集上的实验表明，我们的方法能够生成准确且风格多样、并扎根于图像的描述。
引用
@article{arxiv.2205.01812,
title = {Non-local interactions and supersolidity of moir\'e excitons},
author = {Aleksi Julku},
journal= {arXiv preprint arXiv:2205.01812},
year = {2022}
}
备注
5 pages, 4 figures and supplementary material