基于耳戴式传感的音乐反应自动检测
声音
2023-04-10 v1 人机交互
音频与语音处理
摘要
我们提出了 GrooveMeter，一种通过耳戴式传感自动检测对音乐的声音和动作反应，并支持音乐参与度感知应用的新系统。为此，我们使用已广泛用于听音乐的智能耳塞作为传感设备，并利用耳塞上的惯性测量单元（IMU）和麦克风设计了反应检测技术。为了探索日常听音乐情境下的反应，我们收集了首个此类数据集 MusicReactionSet，包含 30 名参与者长达 926 分钟的 IMU 和音频数据。利用该数据集，我们发现了使用音频和运动传感准确且鲁棒地检测音乐收听反应的一系列独特挑战。我们设计了精细的处理流程，使反应检测准确且高效。我们进行了全面的评估，以检验反应检测的性能和系统开销。结果表明，在留一受试者交叉验证下，GrooveMeter 的声音反应和动作反应的宏 F1 分数分别达到 0.89 和 0.81。更重要的是，与替代方法相比，GrooveMeter 表现出更高的准确性和鲁棒性。我们还表明，我们的过滤方法减少了 50% 或更多的能量开销。最后，我们通过案例研究展示了潜在的用例。
引用
@article{arxiv.2304.03295,
title = {Automatic Detection of Reactions to Music via Earable Sensing},
author = {Euihyoek Lee and Chulhong Min and Jeaseung Lee and Jin Yu and Seungwoo Kang},
journal= {arXiv preprint arXiv:2304.03295},
year = {2023}
}