音乐视频到歌词视频的自动转换
人机交互
2023-08-30 v1 计算机视觉与模式识别
图形学
摘要
音乐人和粉丝经常为其喜爱的歌曲制作歌词视频，这是一种展示歌曲歌词的音乐视频形式。然而，制作此类视频可能具有挑战性且耗时，因为歌词需要与视频同步添加并保持视觉和谐。基于先前工作和对现有歌词视频的仔细考察，我们提出了一套设计指南以帮助创作者制作此类视频。我们的指南确保了歌词文本的可读性，同时保持统一的注意力焦点。我们将这些指南实例化到一个全自动流水线中，该流水线将输入的音乐视频转换为歌词视频。我们通过从多样化输入源生成歌词视频展示了我们流水线的鲁棒性。一项用户研究表明，我们的流水线生成的歌词视频在保持文本可读性和统一注意力焦点方面是有效的。
引用
@article{arxiv.2308.14922,
title = {Automated Conversion of Music Videos into Lyric Videos},
author = {Jiaju Ma and Anyi Rao and Li-Yi Wei and Rubaiat Habib Kazi and Hijung Valentina Shin and Maneesh Agrawala},
journal= {arXiv preprint arXiv:2308.14922},
year = {2023}
}