面向多风格图像描述的风格感知对比学习
计算机视觉与模式识别
2023-01-30 v1 计算与语言
摘要
现有多风格图像描述方法在生成具有准确视觉内容和期望语言风格的描述方面展现出有前景的结果。然而，现有方法忽视了语言风格与视觉内容之间的关系。为克服这一缺陷，我们提出用于多风格图像描述的风格感知对比学习。首先，我们提出带对比学习的风格感知视觉编码器，以挖掘与风格相关的潜在视觉内容。此外，我们提出风格感知三元组对比目标，以区分图像、风格与描述是否匹配。为对比学习提供正负样本，我们提出三种检索方案：基于对象的检索、基于 RoI 的检索和基于三元组的检索，并设计动态权衡函数来计算检索分数。实验结果证明我们的方法达到了最先进的性能。此外，我们进行了广泛分析以验证方法的有效性。
引用
@article{arxiv.2301.11367,
title = {Style-Aware Contrastive Learning for Multi-Style Image Captioning},
author = {Yucheng Zhou and Guodong Long},
journal= {arXiv preprint arXiv:2301.11367},
year = {2023}
}
备注
Findings of EACL 2023