潜在映射：使用变分自编码器生成开放式表达性映射
人机交互
2021-06-17 v1 多媒体
摘要
在许多情境中，为手势交互创建映射可构成艺术过程的一部分。寻求具有表达性、新颖性且能赋予其作者感的创作者可能不知道如何在信号处理模块中将其编程实现。Wekinator 和 MIMIC 等工具允许创作者使用监督式机器学习从示例输入/输出配对中学习映射。然而，创作者可能在遇到好的映射时才能识别它，但起初对输入或输出应是什么毫无头绪。我们称之为开放式映射过程。针对这一需求，我们引入了潜在映射，其利用无监督机器学习算法(如基于创作者未标记手势数据语料训练的变分自编码器)的潜在空间。我们以 Sonified Body 为例说明，这是一个将全身运动映射为声音的系统，我们在与三位舞者的驻留项目中进行了探索。
引用
@article{arxiv.2106.08867,
title = {Latent Mappings: Generating Open-Ended Expressive Mappings Using Variational Autoencoders},
author = {Tim Murray-Browne and Panagiotis Tigas},
journal= {arXiv preprint arXiv:2106.08867},
year = {2021}
}
备注
Published at the International Conference on New Interfaces for Musical Expression, June 2021. 3000 word short paper. 5 figures plus video which may be seen at https://timmb.com/sonified-body-r-and-d-lab