基于副语言情感感知的日语共情口头对话验证时机检测
声音
2026-03-11 v1
摘要
情感验证是一种心理治疗沟通技术，涉及识别、理解和明确确认他人的情感和行为，从而加强联盟并减少负面情绪。为了最大化情感支持的效果，及时且适当地提供验证至关重要。本研究从语音角度探讨验证时机检测。利用副语言和情感信息，我们提出了一种无需依赖文本语境的副语言感知和情感-aware的验证时机检测模型。具体而言，我们首先对不同的HuBERT主干进行持续自监督训练和微调，以获得（i）副语言感知的自监督学习（SSL）编码器和（ii）多任务语音情感分类编码器。随后，我们融合这些编码器，并进一步在下游验证时机检测任务上进行微调。对TUT情感讲故事语料库（TESC）的实验评估比较了多个模型、融合机制和训练策略，表明所提出的方法在常规语音基准上实现了显著的改进。我们的结果表明，当与情感相关表征集成时，非语言语音线索携带足够的信号来决定何时应该表达验证，为更具同理心的人机交互提供了一种基于语音的方法。
引用
@article{arxiv.2603.09307,
title = {Paralinguistic Emotion-Aware Validation Timing Detection in Japanese Empathetic Spoken Dialogue},
author = {Zi Haur Pang and Yahui Fu and Yuan Gao and Tatsuya Kawahara},
journal= {arXiv preprint arXiv:2603.09307},
year = {2026}
}
备注
Accepted to ICASSP 2026