数字画布的编排：基于机器学习的艺术表演方法
人机交互
2024-04-02 v1 图形学
机器学习
摘要
本文介绍了一种基于属性描述的艺术表演设计工具的概念。为此，我们使用一次特定的下落动作表演。该平台将一种新型机器学习（ML）模型与交互式界面集成，用于生成和可视化艺术运动。我们方法的核心是开发一种循环的属性条件变分自编码器（AC-VAE）模型，以解决从动作捕获（MoCap）数据中捕获和生成逼真的 3D 人体动作的挑战。我们创建了一个专注于下落运动动态的独特数据集，特征为一种新的本体法将运动划分为三个 distinct 阶段：Impact、Glitch 和 Fall。ML 模型的创新之处在于其能够单独学习这些阶段。这通过应用全面的数据增强技术和初始姿态损失函数来实现，以生成自然且合理的运动。我们的基于 Web 的界面为艺术家提供了一个直观的平台，让他们能够与该技术进行交互，提供对运动属性的细粒度控制以及交互式可视化工具，包括 360 度视图和用于播放操作的动态时间轴。我们的研究为技术放大人类表达的创造潜力的未来之路铺平了道路，使更精细的运动生成技术能够被更广泛的艺术社区所采用。
引用
@article{arxiv.2404.00054,
title = {Choreographing the Digital Canvas: A Machine Learning Approach to Artistic Performance},
author = {Siyuan Peng and Kate Ladenheim and Snehesh Shrestha and Cornelia Fermüller},
journal= {arXiv preprint arXiv:2404.00054},
year = {2024}
}