SophiaPop:流行音乐中的人机协作实验
人工智能
2020-11-23 v1 人机交互
摘要
一支由工程师、艺术家和算法组成的多元化团队,通过各种神经网络、机器人技术和艺术工具协作创作了 SophiaPop 的歌曲,并在机器人名人兼动画角色 Sophia the Robot 上呈现了这些成果。Sophia 是一个用于艺术、研究及其他用途的平台。为了推进 Sophia 的艺术与技术,我们将多种 AI 与她崭露头角的流行歌手虚构叙事相结合。她拥有实际由 AI 生成的流行歌词、音乐和绘画,以及在与人类实时互动的叙事中讨论其经历的动画对话。为创作音乐,SophiaPop 团队从人类和 AI 生成的 Sophia 角色个性内容以及流行音乐歌曲形式构建了语料库,用以训练并为包括专家模型和定制训练的 transformer 神经网络在内的多种 AI 算法提供种子,这些算法随后生成了原创流行歌曲歌词与旋律。我们的音乐家包括 Frankie Storm、Adam Pickrell 和 Tiger Darrow,随后对 AI 生成的音乐内容进行演绎,包括演唱与器乐演奏。人类演唱的数据随后由基于神经网络的 Sophia 声音处理,该声音由 Cereproc 根据人类表演定制训练而成。该 AI 进而生成了独特的 Sophia 声音演唱的歌曲。然后我们使用多种动画生成器及人工生成的动画,让 Sophia 在音乐视频中演唱这些歌曲。作为协同工作的算法与人类,SophiaPop 代表了一种人机协作,向往人机共生。我们相信,这种多学科与人类和 AI 协同工作的创造性融合,能以新颖而令人振奋的方式使 AI 与人类文化产生关联,并引领对人机关系未来的美好愿景。
引用
@article{arxiv.2011.10363,
title = {SophiaPop: Experiments in Human-AI Collaboration on Popular Music},
author = {David Hanson and Frankie Storm and Wenwei Huang and Vytas Krisciunas and Tiger Darrow and Audrey Brown and Mengna Lei and Matthew Aylett and Adam Pickrell and Sophia the Robot},
journal= {arXiv preprint arXiv:2011.10363},
year = {2020}
}
备注
7 pages, 4 figures