TCR：基于注意力精炼的短视频标题生成与封面选择

随着用户生成短视频的广泛流行，内容创作者将内容推广给潜在观众变得愈发困难。为短视频自动生成吸引人的标题和封面有助于抓住观众注意力。现有视频字幕研究多聚焦于生成动作的事实性描述，不符合旨在吸引观众注意的短视频标题。此外，基于多模态信息的封面选择研究十分匮乏。这些问题催生了对专门方法的需求，以特别支持短视频标题生成与封面选择（TG-CS）这一联合任务，以及创建相应数据集以支撑研究的需求。本文首先收集并发布了一个名为短视频标题生成（SVTG）的真实世界数据集，其中包含带有吸引人标题和封面的视频。随后我们提出一种用于TG-CS的基于注意力精炼的标题生成与封面选择（TCR）方法。该精炼过程逐步筛选高质量样本以及每个样本内高度相关的帧与文本词元，以精炼模型训练。大量实验表明，我们的TCR方法在生成标题上优于多种现有视频字幕方法，并能够为含噪声的真实世界短视频选择更好的封面。