基于通信游戏的人格化图像描述的结构与功能分解
机器学习
2020-11-18 v1 计算与语言
计算机视觉与模式识别
摘要
人格化图像描述（PIC）旨在给定人格特质的情况下用自然语言描述图像。在本工作中，我们基于说话者与听者之间的通信游戏为 PIC 提出了一种新颖的建模方式。说话者尝试生成自然语言描述，而听者鼓励所生成的描述包含关于输入图像和人格特质的可区分信息。通过这种方式，我们期望生成的描述能够得到改进，从而自然地表示图像并表达特质。此外，我们提出适配语言模型 GPT2 来执行 PIC 的描述生成。这使得说话者与听者能够受益于 GPT2 的语言编码能力。我们的实验表明，所提出的模型在 PIC 上达到了最先进的性能。
引用
@article{arxiv.2011.08543,
title = {Structural and Functional Decomposition for Personality Image Captioning in a Communication Game},
author = {Thu Nguyen and Duy Phung and Minh Hoai and Thien Huu Nguyen},
journal= {arXiv preprint arXiv:2011.08543},
year = {2020}
}
备注
10 pages, EMNLP-Findings 2020