基于 YouTube 视频片段的自动写实音乐视频生成
多媒体
2019-05-30 v1
摘要
音乐视频（MV）是一种旨在从视觉上阐释或延伸其背景音乐含义的视频。本文提出一种新方法，可从输入音乐曲目自动生成由 YouTube 音乐视频片段组成、与该音乐相匹配的音乐视频。系统分析输入音乐以判定其流派（流行、摇滚等），并在数据库中找到同流派的分割 MV。随后，通过 K-Means 聚类按颜色直方图对视频片段分组，即具有相同的全局颜色分布的 MV 片段。随机选取若干簇，再围绕音乐边界（音乐发生显著变化的时刻，例如从主歌过渡到副歌）进行拼接。这样，当音乐变化时，视频的色彩情绪也随之改变。本工作旨在生成高质量的写实 MV，可被人误认为人工制作 MV。通过让用户在包含专业 MV、业余制作 MV 及本算法生成 MV 的批次中辨识，我们表明算法结果令人满意：45% 的生成视频被误认为专业 MV，21.6% 被误认为业余 MV。更多信息见项目网站：http://ml.cs.tsinghua.edu.cn/~sarah/
引用
@article{arxiv.1905.12245,
title = {Automatic Realistic Music Video Generation from Segments of Youtube Videos},
author = {Sarah Gross and Xingxing Wei and Jun Zhu},
journal= {arXiv preprint arXiv:1905.12245},
year = {2019}
}