基于逆部分最优传输框架的音乐导向电影预告片生成

预告片生成是从长时间的视频（如电影）中选取精彩镜头并以吸引人的方式重新组织的具有挑战性的视频剪辑任务。本文提出了一种逆部分最优传输（IPOT）框架，以实现音乐导向的电影预告片生成。具体而言，我们将预告片生成任务形式化为基于音频镜头选择和排序关键电影镜头，这涉及跨视觉和声学模态的隐含表示匹配。我们在提出的IPOT框架中学习一个多模态隐含表示模型，以实现上述目标。在该框架中，两个塔结构的编码器分别生成电影和音乐镜头的隐含表示，注意力辅助的Sinkhorn匹配网络参数化镜头隐含表示与电影镜头分布之间的 grounding 距离。将电影镜头与其预告片音乐镜头之间的对应关系定义为基于grounding距离的观察最优传输计划，我们通过求解逆部分最优传输问题来学习模型，从而采用双层优化策略。我们收集了真实世界的电影及其预告片，构建了一个包含丰富标签信息的数据集，称为CMTD，并据此训练和评估了各种自动预告片生成器。与最新方法相比，我们的IPOT方法在主观视觉效果和客观量化测量方面始终表现出优势。