相等却非同一：理解说服性图像与文本间的隐式关系
计算机视觉与模式识别
2018-07-24 v1
摘要
广告中的图像与文本以复杂的、非字面的方式相互作用。这两种渠道通常是互补的，各自讲述故事的不同部分。当前的方法，如图像描述（image captioning）方法，仅考察字面的、冗余的关系，即图像与文本展示完全相同的内容。为理解更复杂的关系，我们首先借助在 Amazon Mechanical Turk 上招募的众包人员，收集了一个广告解读数据集，用于判断同一视觉广告中的图像与标语构成平行（传达相同信息但非字面表达相同内容）还是非平行关系。我们开发了多种特征来捕捉图像的创造性以及文本的特定性或模糊性，并提出了分析渠道内与跨渠道语义的方法。我们表明，在预测图像与文本之间的平行/非平行关系上，我们的方法优于标准的图像-文本对齐方法。
引用
@article{arxiv.1807.08205,
title = {Equal But Not The Same: Understanding the Implicit Relationship Between Persuasive Images and Text},
author = {Mingda Zhang and Rebecca Hwa and Adriana Kovashka},
journal= {arXiv preprint arXiv:1807.08205},
year = {2018}
}
备注
To appear in BMVC2018