利用特权信息在真实场景中建模情感

情感计算研究的一个关键挑战是寻找可靠的方法，将在实验室中构建的情感模型迁移到真实世界环境，即真实场景（in the wild）中。体外（in vitro）与体内（in vivo）情感应用之间现有的鸿沟主要由与情感感知相关的限制引起，包括侵入性、硬件故障、传感器可用性，还有隐私与安全。作为对这些限制的回应，本文受机器学习近期进展的启发，引入了特权信息（privileged information）的概念以在真实场景中运行情感模型。特权信息的存在使得情感模型能够在实验室环境中跨多种可用模态进行训练，并忽略在真实场景中不可用的模态，而建模性能无显著下降。所提出的特权信息框架在一个游戏唤醒度语料库上进行了测试，该语料库包含以心率和皮电活动形式出现的生理信号、游戏遥测数据，以及来自两款不同游戏、标注了唤醒度轨迹的录像像素。通过使用所有模态训练我们的唤醒度模型（体外）并仅使用像素测试模型（体内），我们达到了融合所有模态进行训练和测试的模型所具有的准确率水平。本文的发现向实现真实场景中的情感交互迈出了决定性的一步。