ConchShell：将图片转化为钢琴音乐的生成对抗网络
声音
2022-10-12 v1 信息检索
音频与语音处理
摘要
我们提出了 ConchShell，一个多模态生成对抗框架，该框架以图片作为网络输入，生成与图片语境相匹配的钢琴音乐样本。受 I3D 启发，我们引入了一种新颖的图像特征表示方法：时间卷积神经网络（TCNN），用于在时间维度上为图像锻造特征。尽管我们的图像数据仅包含六个类别，但我们提出的框架将具有创新性和商业意义。该项目将为 3D 游戏配音、短视频配乐以及元宇宙背景音乐的实时生成等工作提供技术思路。我们还发布了一个新数据集，Beach-Ocean-Piano Dataset (BOPD) 1，其中包含 3000 多张图片和 1500 多首钢琴曲。该数据集将支持多模态的图像到音乐研究。
引用
@article{arxiv.2210.05076,
title = {ConchShell: A Generative Adversarial Networks that Turns Pictures into Piano Music},
author = {Wanpeng Fan and Yuanzhi Su and Yuxin Huang},
journal= {arXiv preprint arXiv:2210.05076},
year = {2022}
}
备注
5 pages