利用句子质量控制信号改进图像描述生成
计算机视觉与模式识别
2023-03-10 v2
摘要
在图像描述数据集中，每幅图像对应若干条描述。尽管这些描述的质量参差不齐，现有的描述生成模型在训练过程中却将它们同等对待。本文提出一种新的句子质量控制信号，将其作为描述生成模型的额外输入。通过融合控制信号信息，描述生成模型能够感知目标句子的质量等级并区别处理。此外，我们提出了一种专为句子质量控制信号设计的新型强化训练方法：面向质量的自标注训练（Q-SAT）。在 MSCOCO 数据集上的大量实验表明，在不使用来自真实描述的额外信息的情况下，受最高质量等级控制的模型在基于准确率的评价指标上优于基线模型，从而验证了所提方法的有效性。
引用
@article{arxiv.2206.03196,
title = {Improving Image Captioning with Control Signal of Sentence Quality},
author = {Zhangzi Zhu and Hong Qu},
journal= {arXiv preprint arXiv:2206.03196},
year = {2023}
}
备注
Accepted by ICASSP2023