V-Trans4Style：面向视频制作风格适应的视觉过渡推荐
计算机视觉与模式识别
2025-01-15 v1
摘要
我们介绍 V-Trans4Style，这是一个针对动态视频内容编辑需求的创新算法。它旨在将视频适应不同的制作风格，如纪录片、戏剧、电影或特定 YouTube 频道的视频制作技术。我们的算法通过更自底向上的方法推荐最佳视觉过渡，以实现这种灵活性。首先，我们采用基于 Transformer 的编码器-解码器网络，通过仅使用输入视频学习推荐在时间上一致且视觉上无缝的视觉过渡序列。随后，我们引入风格条件模块，该模块利用该模型迭代调整解码器获得的视觉过渡，通过激活最大化实现调整。我们通过在全新的 AutoTransition++ 数据集上进行实验，展示了该方法的有效性。该数据集是 AutoTransition 数据集的一个 6000 片视频版本，额外将视频分类为不同的制作风格类别。我们的编码器-解码器模型在 Recall@K 和平均排名值上均超过最新方法，提高了 10% 至 80%。我们的风格条件模块实现的视觉过渡在捕获所需视频制作风格特征方面平均提高了约 12%。我们希望我们的工作为进一步探索和理解视频制作风格提供基础。
引用
@article{arxiv.2501.07983,
title = {V-Trans4Style: Visual Transition Recommendation for Video Production Style Adaptation},
author = {Pooja Guhan and Tsung-Wei Huang and Guan-Ming Su and Subhadra Gopalakrishnan and Dinesh Manocha},
journal= {arXiv preprint arXiv:2501.07983},
year = {2025}
}