LaScA：语言条件化的情感动力学可扩展建模
计算与语言
2026-04-09 v1 新兴技术
摘要
在非约束环境中预测情感仍然是人本AI的基本挑战。虽然深度神经嵌入在当代方法中占主导地位，但它们通常缺乏可解释性并限制了专家驱动的改进。我们提出了一种新框架，利用语言模型（LMs）作为手工设计情感描述符的语义上下文条件器，以建模效价和唤醒度的变化。我们的方法始于从结构化领域知识推导出的可解释的面部几何和声学特征。这些特征被转换为编码其情感含义的符号化自然语言描述。预训练的LM处理这些描述以生成作为情感动力学高层先验的语义上下文嵌入。与端到端黑箱流水线不同，我们的框架在利用LM上下文抽象能力的同时保持了特征透明度。我们在Aff-Wild2和SEWA数据集上评估了所提出的方法，用于情感变化预测。实验结果表明，与纯手工设计和深度嵌入基线相比，效价和唤醒度的准确性均有持续提升。我们的发现表明，语义条件化使情感建模具有可解释性，同时不牺牲预测性能，为完全端到端架构提供了一种透明且计算高效的替代方案。
引用
@article{arxiv.2604.07193,
title = {LaScA: Language-Conditioned Scalable Modelling of Affective Dynamics},
author = {Kosmas Pinitas and Ilias Maglogiannis},
journal= {arXiv preprint arXiv:2604.07193},
year = {2026}
}
备注
This paper has been accepted at the CVPR 2026 Workshop on Affective Behavior Analysis in-the-wild (ABAW)