基于外部信息源的信息性图像描述生成
星系天体物理
2019-09-25 v3 高能天体物理现象
摘要
图像描述应以流畅方式呈现给定图像中的本质信息，包括信息性的细粒度实体指称以及这些实体交互的方式。然而，当前描述模型通常训练为仅生成含常见物体名称的描述，因而在“信息性”这一重要维度上有所欠缺。我们提出一种机制，将图像信息与细粒度标签（假定由某些上游模型生成）整合进以流畅且信息丰富方式描述图像的描述句中。我们引入一个基于 Transformer 的多模态多编码器模型，其同时接收图像特征与多源实体标签。我们证明可学习控制这些实体标签在输出中的出现，从而生成既流畅又具信息性的描述。
引用
@article{arxiv.1906.08877,
title = {Radio spectral index distribution of SDSS-FIRST sources across optical diagnostic diagrams},
author = {Michal Zajaček and Gerold Busch and Mónica Valencia-S. and Andreas Eckart and Silke Britzen and Lars Fuhrmann and Jana Schneeloch and Nastaran Fazeli and Kevin C. Harrington and J. Anton Zensus},
journal= {arXiv preprint arXiv:1906.08877},
year = {2019}
}
备注
20 pages, 15 figures, 2 tables; in print in Astronomy & Astrophysics journal; minor typos corrected and a few references added