基于神经解剖对齐的视听融合情感生成模型
人机交互
2025-03-24 v1 人工智能
摘要
在情感计算领域，传统的情感生成方法主要依赖深度学习技术和大规模情感数据集。然而，深度学习技术往往复杂且难以解释，而标准化的大规模情感数据集的建立既困难又成本高昂。为了应对这些挑战，我们提出了一种名为“视听融合类脑情感学习”（Audio-Visual Fusion for Brain-like Emotion Learning, AVF-BEL）的新框架。与传统的类脑情感学习方法不同，该方法通过整合模块化组件来改进视听情感融合与生成模型，从而实现更轻量级、更可解释的情感学习与生成过程。该框架模拟了大脑视觉、听觉和情感通路的整合，优化了跨视觉和听觉模态的情感特征融合，并改进了传统的脑情感学习（BEL）模型。实验结果表明，与单模态的视觉和听觉情感学习生成模型相比，视听融合情感学习生成模型的相似度有显著提高。最终，这与视觉和听觉刺激的综合影响所促进的情感增强这一基本现象相一致。这项贡献不仅增强了情感智能的可解释性和效率，也为推进情感计算技术提供了新的见解和途径。我们的源代码可在此处访问：https://github.com/OpenHUTB/emotion。
引用
@article{arxiv.2503.16454,
title = {An Audio-Visual Fusion Emotion Generation Model Based on Neuroanatomical Alignment},
author = {Haidong Wang and Qia Shan and JianHua Zhang and PengFei Xiao and Ao Liu},
journal= {arXiv preprint arXiv:2503.16454},
year = {2025}
}