歌唱声音的情感识别：面向歌手的实时分析工具

当前的计算情感研究集中于应用声学属性来分析情感如何被数学感知或用于自然语言处理机器学习模型。尽管近期兴趣集中于从说话声音中分析情感，但关于如何在歌唱声音中识别情感（无论是在无噪声还是噪声数据中，即不准确、难以解释、包含损坏/失真/无意义信息如本例中的实际噪声声音，或可用/不可用信息比率较低的数据）的实验甚少。这不仅忽视了在更主观数据上训练机器学习模型并以噪声大得多的数据测试它们的挑战，而且在推进卷积神经网络发展与具有情感认知能力的人工智能目标之间也存在明显脱节。通过训练一个融合此类信息并对心理声学属性有丰富理解的新模型，不仅可以使模型被训练来识别极噪声数据中的信息，还能推进更复杂的生物反馈应用——包括创建一个能给定任何人类信息（语言、呼吸、声音、身体、姿态）识别情感，并可用于任何表演媒介（音乐、言语、表演）或针对边缘型人格障碍、述情障碍、自闭症等患者的心理辅助的模型。本文旨在反思并拓展相关研究的发现，并朝此终极目标呈递一块垫脚石。