比较与重加权：利用相似图像集的独特性图像描述生成
计算机视觉与模式识别
2020-09-30 v1 计算与语言
机器学习
摘要
已开发出多种图像描述生成模型，基于 BLEU、CIDEr 和 SPICE 等常用指标取得了显著改进。然而，尽管生成的描述能准确刻画图像，它们对相似图像而言是通用的，缺乏独特性，即无法恰当描述每幅图像的独特性。本文旨在通过利用相似图像集进行训练来提升图像描述的独特性。首先，我们提出一种独特性度量——集间 CIDEr（CIDErBtw），用于评估某描述相对于相似图像描述的独特性。我们的度量表明，基于独特性，每幅图像的人工标注并不等价。因此我们提出若干新训练策略以鼓励每幅图像生成描述的独特性，这些策略基于在加权损失函数中使用 CIDErBtw 或将其作为强化学习奖励。最后，大量实验表明，我们所提方法在多种图像描述生成基线上显著提升了独特性（由 CIDErBtw 与检索指标衡量）与准确性（例如由 CIDEr 衡量）。这些结果进一步通过用户研究得到证实。
引用
@article{arxiv.2007.06877,
title = {Compare and Reweight: Distinctive Image Captioning Using Similar Images Sets},
author = {Jiuniu Wang and Wenjia Xu and Qingzhong Wang and Antoni B. Chan},
journal= {arXiv preprint arXiv:2007.06877},
year = {2020}
}