Sonus Texere!利用电影改编版为书籍自动构建密集配乐
声音
2022-12-05 v1 人工智能
多媒体
音频与语音处理
摘要
阅读与听音乐类似,是一种沉浸式体验,能在将读者带入其中的同时带他们踏上情感之旅。聆听互补的音乐有潜力放大阅读体验,尤其是当音乐在风格上连贯且在情感上相关时。在本文中,我们提出首个完全自动化的方法,为书籍构建密集配乐,可在整个阅读时长内播放高质量的器乐。我们的工作采用独特的文本处理与音乐编织流程,以确定章节中场景的语境与情感构成。这使得我们的方法能够识别并播放来自该书电影改编版配乐的相关片段。借助电影作曲家的技艺,我们的书籍配乐包含了专家制作的动机及其他场景特定音乐特征。我们通过一项感知研究验证了方法的设计决策。我们的读者指出,书籍配乐极大增强了他们的阅读体验,这归因于通过不间断且风格一致的音乐所带来的高沉浸感,以及通过高精度情感与场景语境识别所达到的 heightened 情感状态。
引用
@article{arxiv.2212.01033,
title = {Sonus Texere! Automated Dense Soundtrack Construction for Books using Movie Adaptations},
author = {Jaidev Shriram and Makarand Tapaswi and Vinoo Alluri},
journal= {arXiv preprint arXiv:2212.01033},
year = {2022}
}
备注
Accepted to ISMIR 2022. Project page: https://auto-book-soundtrack.github.io/