升级新闻编辑室：面向新闻文章的自动化图像选择系统

我们提出一种自动化图像选择系统，以协助图片编辑为新闻文章挑选合适图像。该系统融合从新闻文章中提取的多个文本来源，并支持多语言输入。它配备字符级词嵌入，既有助于对形态丰富语言（如德语）建模，也有助于在相近语言间迁移知识。文本编码器采用分层自注意力机制，更关注一段文本内的关键词以及新闻文章的信息组成部分。我们在从瑞士地方新闻网站收集的大规模多模态多语言新闻文章文本-图像数据库上对该系统进行了广泛实验。通过与多个基线及消融研究比较，表明该系统在弱监督学习设定下击败了现有的文本-图像检索方法。此外，我们还就使用多文本来源与多语言数据的优势提供了见解。