基于视觉的嘴部接口的设计、演奏与表演
人机交互
2020-10-08 v1 计算机视觉与模式识别
声音
音频与语音处理
摘要
面部与嘴部在言语产生以及非语言交流中的作用，提示可利用面部动作来控制音乐声音。本文记录了 Mouthesizer 系统的工作，该系统使用头戴式微型相机与计算机视觉算法从嘴部张开处提取形状参数，并将其作为 MIDI 控制变化输出。我们报告了在各种手势到声音映射与音乐应用上的经验，并描述了一场使用 Mouthesizer 接口的现场表演。
引用
@article{arxiv.2010.03213,
title = {Designing, Playing, and Performing with a Vision-based Mouth Interface},
author = {Michael J. Lyons and Michael Haehnel and Nobuji Tetsutani},
journal= {arXiv preprint arXiv:2010.03213},
year = {2020}
}
备注
Proceedings of the International Conference on New Interfaces for Musical Expression, 2003