Soloist：通过音频处理从现有吉他教学视频生成混合主动式教程
人机交互
2021-01-25 v1
摘要
利用在线教学视频学习乐器已变得日益普遍。然而，预先录制的视频缺乏人类导师所提供的即时反馈与个性化定制。此外，现有的视频导航并未针对乐器学习进行优化，使得学习体验 cumbersome。受我们对吉他演奏者的形成性访谈及既往文献指导，我们设计了 Soloist，一种混合主动式学习框架，可从现成的吉他视频课程中自动生成可定制的课程体系。Soloist 以原始视频作为输入，并利用基于深度学习的音频处理来提取音乐信息。该后端处理用于提供交互式可视化，以支持有效的视频导航及对用户演奏的实时反馈，从而创造引导式学习体验。我们以使用 YouTube 教学视频学习电吉他独奏这一领域为例，展示了 Soloist 的能力与具体用例。一项为收集吉他演奏者反馈而开展的远程用户研究表明结果令人鼓舞，用户一致倾向于使用 Soloist 而非未转换的教学视频进行学习。
引用
@article{arxiv.2101.08846,
title = {Soloist: Generating Mixed-Initiative Tutorials from Existing Guitar Instructional Videos Through Audio Processing},
author = {Bryan Wang and Mengyu Yang and Tovi Grossman},
journal= {arXiv preprint arXiv:2101.08846},
year = {2021}
}
备注
ACM CHI 2021 Camera-Ready, Single Column