将人类置于图像描述生成回路中
计算与语言
2023-06-07 v1 计算机视觉与模式识别
摘要
图像描述生成(Image Captioning, IC)模型可在训练过程中极大受益于人类反馈,尤其在数据有限的情况下。我们展示了一项进行中的工作,旨在改造一个 IC 系统以整合人类反馈,目标是使其易于适应用户特定数据。我们的方法基于在 MS COCO 数据集上预训练的基 IC 模型,其为未见图像生成描述。用户随后可对图像及生成/预测的描述提供反馈,这些反馈将被增广以创建额外的训练样本用于模型适配。额外样本通过逐步更新整合进模型,并使用稀疏记忆回放组件以避免灾难性遗忘。我们希望该方法在带来改进结果的同时,也能产生可定制的 IC 模型。
引用
@article{arxiv.2306.03476,
title = {Putting Humans in the Image Captioning Loop},
author = {Aliki Anagnostopoulou and Mareike Hartmann and Daniel Sonntag},
journal= {arXiv preprint arXiv:2306.03476},
year = {2023}
}