MirrorNet：受感觉运动交互启发学习音频合成器控制
音频与语音处理
2023-05-18 v4 机器学习
声音
摘要
旨在理解人类皮层言语系统中感觉运动神经交互的实验支持听觉与运动区域之间存在双向交互流。其关键功能是使大脑能够“学习”如何控制声道以进行语音产生。这一思想是近期提出的受限自编码器架构“MirrorNet”的动因。本文中，MirrorNet 被应用于以无监督方式学习特定音频合成器（DIVA）的控制参数，仅从其听觉谱图生成旋律。结果展示了 MirrorNet 如何发现合成器参数以生成与原始旋律及未见旋律高度相似的旋律，甚至确定最佳参数集以近似由另一合成器生成的复杂钢琴旋律的演绎。MirrorNet 的这种泛化能力说明了其从感觉数据中发掘任意运动装置控制参数的潜力。
引用
@article{arxiv.2110.05695,
title = {The Mirrornet : Learning Audio Synthesizer Controls Inspired by Sensorimotor Interaction},
author = {Yashish M. Siriwardena and Guilhem Marion and Shihab Shamma},
journal= {arXiv preprint arXiv:2110.05695},
year = {2023}
}