用于地面与空中舞蹈的自由肢体手势追踪与增强现实即兴表演

本文描述了一个用于地面与空中舞蹈的更新版交互表演系统，该系统通过深度感应摄像头（MS Kinect）控制演示的视觉与声音方面。为了检测、测量和追踪空间中的自由运动，使用红外（IR）标记在空间（地面和空中）进行3自由度（3-DOF）追踪，并添加了多目标追踪能力的方法且进行了详细描述。本文描述了一种改进的手势追踪与识别系统，称为动作图（AG）。动作图使用从单一长运动特征序列中高效增量构建的方法，并自动从头到尾捕获运动中重复的子片段，无需手动交互，同时也讨论了其他高级功能。通过使用这种新的手势模型，我们可以通过动态追踪和识别手势及作品的子部分来统一整个编舞作品。这赋予了表演者基于一组录制的手势/编舞片段进行即兴表演的自由，并使系统能够在一组相关的排练动作中动态地响应表演者，这是迄今为止在任何其他系统中都未曾见过的能力。