基于文本检测与跟踪的歌词视频分析
计算机视觉与模式识别
2020-06-23 v1
摘要
我们尝试在歌词视频中识别并跟踪歌词文字。歌词视频是一种展示歌曲歌词文字的音乐视频。歌词视频的主要特征是歌词文字随音乐在帧中同步显示。识别并跟踪歌词文字的难点在于：(1) 文字常被装饰并存在几何畸变；(2) 文字在视频帧中任意且剧烈地运动。本文旨在分析歌词视频中歌词文字的运动，作为自动生成歌词视频的第一步。为分析歌词文字的运动，我们首先将最先进的场景文本检测器与识别器应用于每一视频帧。随后，执行歌词-帧匹配以建立歌词文字与帧之间的最优对应关系。在由对应关系确定各歌词文字的运动轨迹后，我们通过 k-medoids 聚类与动态时间规整（DTW）分析歌词文字的轨迹。
引用
@article{arxiv.2006.11933,
title = {Lyric Video Analysis Using Text Detection and Tracking},
author = {Shota Sakaguchi and Jun Kato and Masataka Goto and Seiichi Uchida},
journal= {arXiv preprint arXiv:2006.11933},
year = {2020}
}
备注
15 pages, 8 figures, DAS 2020