通过指挥手势识别对虚拟管弦乐队进行实时控制
人机交互
2026-05-01 v1
摘要
我们展示了一个在180度穹顶剧院中的博物馆装置，该装置让博物馆参观者体验指挥交响乐团的感觉。我们预先录制了一段由专业乐团演奏的短乐曲。这段录音在穹顶内播放，参观者站在指挥的位置上。参观者的手势通过基于视觉的骨骼追踪器捕捉，经由手势识别模块将手势转换为时间控制信号，从而操控录音的播放速度。该信号被发送到播放模块，该模块以相应的速度在穹顶内播放录音。手势识别模块基于分层LSTM网络，使用多位具有不同专业水平的指挥家指挥同一段录音的录制序列进行训练。该系统通过一项评估时间估计精度的定量研究、一项评估实时控制的音乐真实感和可用性的用户研究，以及一项评估整个系统在真实博物馆参观者中表现的现场研究来进行评估。
引用
@article{arxiv.2604.27957,
title = {Real-Time Control of a Virtual Orchestra by Recognition of Conducting Gestures},
author = {Mert Mermerci and Emile Pascoe and Fredrik Edström and Hedvig Kjellström},
journal= {arXiv preprint arXiv:2604.27957},
year = {2026}
}