CLID：基于有限数据的可控长度图像描述
计算机视觉与模式识别
2024-01-23 v2
摘要
可控图像描述模型生成类人的图像描述，实现对所生成描述文本的某种控制。本文关注于控制描述长度，即简短精炼的描述或冗长细致的描述。由于现有图像描述数据集大多包含短描述，生成长描述具有挑战性。为解决长训练样本匮乏的问题，我们提出用变长度的自生成描述来丰富数据集。然而，这些自生成描述质量参差不齐，因此不适合常规训练。我们引入一种新颖的训练策略，在训练的不同阶段筛选使用的数据点。我们的方法大幅提升了长度控制能力，同时在描述质量上展现出 SOTA 性能。我们的方法具有通用性，并被证明同样适用于段落生成。
引用
@article{arxiv.2211.14835,
title = {CLID: Controlled-Length Image Descriptions with Limited Data},
author = {Elad Hirsch and Ayellet Tal},
journal= {arXiv preprint arXiv:2211.14835},
year = {2024}
}