面向多模态情感建模的特权对比预训练
机器学习
2025-08-07 v1 人机交互
多媒体
摘要
情感计算（AC）随着深度学习的发展取得了显著进展，但仍面临一个持续性挑战：即可靠地将情感模型从受控实验室环境（in-vitro）迁移到不可控的真实世界环境（in-vivo）。为此，我们提出了特权对比预训练（PriCon）框架：首先通过监督对比学习（SCL）进行预训练，然后充当学习使用特权信息（LUPI）框架中的教师模型。PriCon既利用特权信息进行训练，又通过SCL增强派生情感模型的鲁棒性。在两个基准情感语料库（RECOLA和AGAIN）上的实验表明，使用PriCon训练的模型在LUPI和端到端模型中均表现出色。值得注意的是，在许多情况下，PriCon模型的性能甚至可以与在训练和测试期间都获得所有模态信息的模型相当。我们的发现凸显了PriCon作为实现情感建模in-vitro与in-vivo之间鸿沟的新范式的潜力，为实际应用提供了可扩展且实用的解决方案。
引用
@article{arxiv.2508.03729,
title = {Privileged Contrastive Pretraining for Multimodal Affect Modelling},
author = {Kosmas Pinitas and Konstantinos Makantasis and Georgios N. Yannakakis},
journal= {arXiv preprint arXiv:2508.03729},
year = {2025}
}