ECOL-R：利用强化学习在新物体描述中鼓励复制
计算机视觉与模式识别
2021-01-26 v1 计算与语言
摘要
新物体描述是一项零样本图像描述任务，要求描述训练描述中未出现、但可从外部物体检测器获取信息的物体。关键挑战在于选择并描述输入图像中所有显著的被检测新物体。本文聚焦该挑战，提出 ECOL-R 模型（Encouraging Copying of Object Labels with Reinforced Learning，利用强化学习鼓励复制物体标签），一种复制增强的 transformer 模型，被鼓励准确描述新物体标签。这通过 SCST 强化学习框架（Rennie 等，2017）中专门设计的奖励函数实现，该函数在维持描述质量的同时鼓励提及新物体。我们进一步将 SCST 训练限制于参考描述中提及被检测物体的图像以训练 ECOL-R 模型。我们还通过抽象标签（Abstract Labels）与形态选择器（Morphological Selector）改进复制机制：前者将已知物体类型知识迁移至新物体类型，后者确定新物体标签的恰当屈折形式。所得模型在 nocaps（Agrawal 等，2019）与留出 COCO（Hendricks 等，2016）基准上确立了新的最优性能。
引用
@article{arxiv.2101.09865,
title = {ECOL-R: Encouraging Copying in Novel Object Captioning with Reinforcement Learning},
author = {Yufei Wang and Ian D. Wood and Stephen Wan and Mark Johnson},
journal= {arXiv preprint arXiv:2101.09865},
year = {2021}
}
备注
long paper accepted @ EACL-2021 camera ready version