遵循新闻规范的News图像描述生成
计算机视觉与模式识别
2021-09-14 v2
摘要
新闻文章图像描述生成任务旨在为新闻文章图像生成具描述性与信息量的标题。与仅以通用术语简单描述图像内容的常规图像标题不同，新闻图像标题遵循新闻规范，高度依赖命名实体来描述图像内容，并常从其所关联的整体文章中提取上下文。本工作中，受记者遵循的标题规范启发，我们提出一种针对该任务的新方法。我们的方法，即遵循新闻规范的新闻图像描述生成（JoGANIC），利用标题的结构来提升生成质量并指导表征设计。在两个大规模公开数据集上的实验结果（含详细消融研究）表明，JoGANIC在标题生成与命名实体相关指标上均大幅优于最先进（SOTA）方法。
引用
@article{arxiv.2109.02865,
title = {Journalistic Guidelines Aware News Image Captioning},
author = {Xuewen Yang and Svebor Karaman and Joel Tetreault and Alex Jaimes},
journal= {arXiv preprint arXiv:2109.02865},
year = {2021}
}