阅读情绪背后的语言：将语调衍生情感语境融入社会响应VR代理
人机交互
2026-03-11 v1 人工智能
摘要
在与具身对话代理的VR交互中，用户表达的情感意图往往更多来源于说话方式而非言语内容本身。然而，大多数VR代理管线依赖语音到文本处理，忽略语调线索，导致尽管语义正确，却常产生情感不匹配的响应。我们提出一种情感语境感知的VR交互管线，将声学情感视为明确的对话语境，注入基于LLM的对话代理。实时语音情感识别模型从语调中推断用户情感状态，生成的情感标签被注入代理的对话语境，以塑造响应的语调与风格。来自N=30的within-subjects VR研究结果显示，情感感知代理在对话质量、自然度、参与度、亲密感与逼真感方面均显著提升，其中93.3%的参与者偏好情感感知代理。
引用
@article{arxiv.2603.09324,
title = {Reading the Mood Behind Words: Integrating Prosody-Derived Emotional Context into Socially Responsive VR Agents},
author = {SangYeop Jeong and Yeongseo Na and Seung Gyu Jeong and Jin-Woo Jeong and Seong-Eun Kim},
journal= {arXiv preprint arXiv:2603.09324},
year = {2026}
}
备注
12 pages, 4 figures, Accepted to CHI EA 2026 (Extended Abstracts of the 2026 CHI Conference on Human Factors in Computing Systems)