Mugeetion：基于面部手势与情绪的音乐接口

人们在聆听音乐时会产生情绪。然而，情绪并非可在音乐创作过程中利用的 tangible 对象，因其难以在算法中捕捉与量化。我们提出一种新型音乐接口 Mugeetion，旨在从用户面部手势中捕捉情绪状态实例，并将该数据传递至关联的音乐特征。Mugeetion 可将情绪状态的定性数据转化为定量数据，以供声音生成过程使用。我们还在声音装置展览“Hearing Seascape”中展示并测试了此作品，利用观众的面部表情。观众根据其情绪状态听到背景声音的变化。该过程对多个研究领域有所贡献，如手势追踪系统、情绪-声音建模，以及声音与面部手势之间的关联。