中文

将心脏耦合至音乐机器

人机交互 2025-05-07 v1 声音 音频与语音处理

摘要

生物反馈近来更多地被用作人机界面(HCI)的通用控制范式。虽然以呼吸为主的生物反馈作为新型音乐接口(即新型音乐表达接口,NIME)的控制器日益普及,但学界对心脏的关注却相对较少。心脏与呼吸一样,是音乐中同样亲密的部分,并且有观点认为,心脏决定了我们对时间的感知,从而间接决定了我们对音乐的感知。受此启发,我展示了一个基于光电容积脉搏波描记法(PPG)的NIME控制器,它利用心率作为一维控制参数,通过蓝牙无线HCI实时改变声音的品质。我对输入声卡的音频缓冲区应用时间缩放进行“扭曲”,并将这些处理后的音频缓冲区回放给佩戴PPG传感器的听众,从而创建一个假设性的感知生物反馈回路:声音的变化改变心率,心率改变PPG测量值,进而改变声音。我讨论了声音-心脏-PPG生物反馈回路如何可能通过一维控制器提供更强的控制和/或更多样的运动变化,如何利用生物反馈控制声音回放的空间和/或时间尺度为表演氛围创造可能性,并简要探讨了生成式潜在空间作为扩展一维PPG控制空间的一种可能方式。

关键词

引用

@article{arxiv.2505.03073,
  title  = {Coupling the Heart to Musical Machines},
  author = {Eric Easthope},
  journal= {arXiv preprint arXiv:2505.03073},
  year   = {2025}
}