从实验室到真实场景：基于特权信息的情感建模
人机交互
2023-05-19 v1 计算机视觉与模式识别
摘要
我们如何可靠地将受控实验室条件（体外）下训练的情感模型迁移到非受控真实世界环境（体内）中？体外与体内应用之间的信息鸿沟定义了情感计算的一个核心挑战。该鸿沟由与情感感知相关的限制引起，包括侵入性、硬件故障和传感器可用性。作为对这些限制的回应，我们引入了特权信息的概念，用于在真实场景（野外）中运行情感模型。特权信息使情感模型能够在实验室可用的多模态上训练，并在其于野外运行时忽略那些不可用的模态，且性能不会显著下降。我们的方法在两个多模态情感数据库上进行了测试，其中一个专为测试野外的情感模型而设计。通过利用所有模态训练情感模型，然后仅使用原始视频帧测试模型，我们达到了融合所有可用模态进行训练和测试的模型的性能。结果在分类和回归情感建模任务（情感计算中的主导范式）上均具有鲁棒性。我们的发现朝着实现野外情感交互迈出了决定性的一步。
引用
@article{arxiv.2305.10919,
title = {From the Lab to the Wild: Affect Modeling via Privileged Information},
author = {Konstantinos Makantasis and Kosmas Pinitas and Antonios Liapis and Georgios N. Yannakakis},
journal= {arXiv preprint arXiv:2305.10919},
year = {2023}
}
备注
13 pages, accepted for publication in IEEE Transactions on Affective Computing. arXiv admin note: text overlap with arXiv:2107.10552