TapToTab：基于视频、AI 与音频分析的吉他指法谱生成
声音
2024-09-16 v1 计算机视觉与模式识别
音频与语音处理
摘要
从视频输入自动生成吉他指法谱在增强音乐教育、提高转录准确性和性能分析方面具有广阔前景。现有方法在一致性和完整性方面面临挑战，特别是在检测指板和准确识别音符方面。为了解决这些问题，本文引入了一种先进方法，利用深度学习，特别是 YOLO 模型进行实时指板检测，并利用基于傅里叶变换的音频分析进行精确的音符识别。实验结果表明，与传统技术相比，检测准确性和鲁棒性均有显著提升。本文概述了这些方法的开发、实现和评估，旨在通过自动从视频录像中生成吉他指法谱来革新吉他教学。
引用
@article{arxiv.2409.08618,
title = {TapToTab : Video-Based Guitar Tabs Generation using AI and Audio Analysis},
author = {Ali Ghaleb and Eslam ElSadawy and Ihab Essam and Mohamed Abdelhakim and Seif-Eldin Zaki and Natalie Fahim and Razan Bayoumi and Hanan Hindy},
journal= {arXiv preprint arXiv:2409.08618},
year = {2024}
}