一种用于情感发声爆发识别的分层回归链框架
音频与语音处理
2023-03-15 v1 机器学习
声音
信号处理
摘要
作为通过非语言发声进行情绪信号传递的常见方式，发声爆发（VB）在日常社会互动中起着重要作用。理解和建模人类发声爆发对于开发鲁棒且通用的人工智能不可或缺。探索用于理解发声爆发的计算方法正吸引越来越多的研究关注。在本工作中，我们提出一种基于链回归模型的分层框架，用于从VB中进行情感识别，其显式考虑了多种关系：（i）情绪状态与多元文化之间的关系；（ii）低维（唤醒度与效价）与高维（10类情绪）情绪空间之间的关系；（iii）高维空间内各类情绪之间的关系。为应对数据稀疏性挑战，我们还使用了自监督学习（SSL）表示以及逐层和时间聚合模块。所提出的系统参与了ACII情感发声爆发（A-VB）挑战赛2022，并在“TWO”和“CULTURE”任务中排名第一。基于ACII挑战赛2022数据集的实验结果证明了所提出系统的优越性能，以及使用分层回归链模型考虑多种关系的有效性。
引用
@article{arxiv.2303.08027,
title = {A Hierarchical Regression Chain Framework for Affective Vocal Burst Recognition},
author = {Jinchao Li and Xixin Wu and Kaitao Song and Dongsheng Li and Xunying Liu and Helen Meng},
journal= {arXiv preprint arXiv:2303.08027},
year = {2023}
}
备注
5 pages, 3 figures, 5 tables