中文

词级 logits 至关重要:深入探究情感模糊识别中的语音基础模型

声音 2025-05-27 v1 音频与语音处理

摘要

情感智能在对话式 AI 中在诸多领域(如人机交互)中至为重要。虽然已develop许多模型,但常常忽视了人类情感本身所蕴含的复杂性与模糊性。在大型语音基础模型(SFM)时代,理解其在识别模糊情感方面的能力,对开发下一代情感感知模型至关重要。本研究考察了 SFM 在模糊情感识别中的有效性。我们设计了用于模糊情感预测的提示词(prompt),并引入两种新方法来推断模糊情感分布:一种是分析生成的文本响应,另一种是通过词级 logits 考察 SFM 的内部处理过程。我们的发现表明,尽管 SFM 可能无法为模糊情感一致生成准确的文本响应,但它们能够基于先验知识在词级层面解释此类情感,显示出在不同提示词下的鲁棒性。

关键词

引用

@article{arxiv.2505.18484,
  title  = {Token-Level Logits Matter: A Closer Look at Speech Foundation Models for Ambiguous Emotion Recognition},
  author = {Jule Valendo Halim and Siyi Wang and Hong Jia and Ting Dang},
  journal= {arXiv preprint arXiv:2505.18484},
  year   = {2025}
}

备注

Accepted at INTERSPEECH 2025