一种用于情感性发声爆发分析的高效多任务学习架构
声音
2022-09-29 v1 机器学习
音频与语音处理
摘要
情感语音分析是一个持续的研究课题。该领域中一个相对较新的问题是对发声爆发(vocal bursts)的分析,即笑声或叹息等非语言发声。当前解决情感性发声爆发分析的最先进方法主要基于 wav2vec2 或 HuBERT 特征。在本文中,我们研究将 wav2vec 的继任者 data2vec 与多任务学习流水线结合使用,以一次性处理不同的分析问题。为评估我们高效多任务学习架构的性能,我们参加了 2022 年 ACII 情感性发声爆发挑战赛,结果表明我们的方法在三个不同子任务上大幅优于该挑战赛设立的基线。
引用
@article{arxiv.2209.13914,
title = {An Efficient Multitask Learning Architecture for Affective Vocal Burst Analysis},
author = {Tobias Hallmen and Silvan Mertes and Dominik Schiller and Elisabeth André},
journal= {arXiv preprint arXiv:2209.13914},
year = {2022}
}