修订、推理、识别：基于情感特定提示的LLM情感识别及ASR误差纠正
音频与语音处理
2025-05-01 v2 人工智能
计算与语言
多媒体
声音
摘要
使用提示工程标注和识别语音情感的做法最近随着大语言模型（LLM）的进步而涌现，但其有效性和可靠性值得怀疑。本文对此进行系统性研究，首先提出新型提示，这些提示整合了声学、语言学和心理学方面的情感特定知识。随后，我们检验了LLM-based提示对自动语音识别（ASR）转录的效果，与ground-truth转录进行比较。进一步，我们提出了一种修订-推理-识别（Revise-Reason-Recognize）提示管道，用于从带有ASR误差的语言中进行稳健的LLM情感识别。此外，我们对情境感知学习、情境学习和指令调谐进行实验，以检验LLM训练方案在这一方向上的有用性。最后，我们研究LLM对微小提示变体的敏感性。实验结果表明，情感特定提示、ASR误差纠正和LLM训练方案对于LLM-based情感识别都有效。本研究旨在细化LLM在情感识别及相关领域的使用方式。
引用
@article{arxiv.2409.15551,
title = {Revise, Reason, and Recognize: LLM-Based Emotion Recognition via Emotion-Specific Prompts and ASR Error Correction},
author = {Yuanchao Li and Yuan Gong and Chao-Han Huck Yang and Peter Bell and Catherine Lai},
journal= {arXiv preprint arXiv:2409.15551},
year = {2025}
}
备注
Accepted to ICASSP 2025