基于手势的实时控制框架

我们提出一个实时、人类在环的手势控制框架，通过分析实时视频输入，动态适应音频和音乐。通过在视觉与听觉刺激之间创建响应式连接，该系统使舞者和表演者不仅能响应音乐，还能通过身体动作影响音乐。该框架设计用于现场演出、互动装置和个人使用，提供一种沉浸式体验，使用户能够实时塑造音乐。框架集成了计算机视觉和机器学习技术，用于跟踪和解释运动，允许用户操控音频元素，如节奏、音调、效果和播放序列。经过持续训练，该框架实现 user-independent 功能，仅需 50 至 80 个样本即可标记简单手势。该框架将手势训练、cue 映射和音频操控结合为创建一个动态、互动的体验。手势被解释为输入信号，映射到 sound control 命令，用于自然调整音乐元素，展示了人类互动与机器响应之间的无缝交互。