NewsCaption：面向脱离语境媒体的命名实体感知字幕生成
多媒体
2024-03-20 v1 社会与信息网络
摘要
随着社交媒体影响力的日益增强，在线错误信息已发展成为一个社会性问题。我们工作的动机源于 cheapfakes 带来的威胁，即使用一则新闻标题以新的但虚假的语境来描述一张未经篡改的图像。检测此类脱离语境多媒体的主要挑战在于缺乏大规模数据集。多种检测方法采用随机选择的标题来生成脱离语境的训练输入。然而，由于图像描述与匹配标题之间的不一致性，这些随机匹配的标题并不能真正代表脱离语境的场景。我们旨在通过引入一项脱离语境标题生成的新任务来解决这些局限性。在这项工作中，我们提出了一种新方法，在给定视觉和文本语境的情况下生成逼真的脱离语境标题。我们还证明了生成标题的语义可以通过文本语境进行控制。我们还将我们的方法与多个基线进行了评估，在图像字幕基线的基础上，我们的方法在 BLUE-4 上提高了 6.2%，在 CiDEr 上提高了 2.96%，在 ROUGE 上提高了 11.5%，在 METEOR 上提高了 7.3%。
引用
@article{arxiv.2403.12618,
title = {NewsCaption: Named-Entity aware Captioning for Out-of-Context Media},
author = {Anurag Singh and Shivangi Aneja},
journal= {arXiv preprint arXiv:2403.12618},
year = {2024}
}