智能眼镜会梦见情感景象吗？面向可穿戴设备的深度情感关联分析

智能眼镜设备中的情感识别极具价值但也充满挑战。以往工作的一个关键局限在于，面部或眼部图像等与表情相关的信息被视为唯一的情感证据。然而，情绪状态并非孤立存在；它与人们的视觉感知，尤其是那些带有情感色彩的感知，紧密相关。但很少有研究探讨这种关联，以更好地阐明不同情绪的成因。在本文中，我们研究了眼镜系统中的情感关联分析问题，这是一项雄心勃勃的任务，不仅需要对用户的情绪进行分类，还需要从语义上理解这种情绪的潜在原因。为此，我们设计了EMOShip，这是一个基于深度学习的眼镜系统，能够自动检测佩戴者的情绪状态，并同时分析其与语义级视觉感知的关联。涉及20名参与者的实验研究表明，得益于情感关联感知，EMOShip不仅在情绪识别准确率上优于现有方法（80.2% 对比 69.4%），而且提供了对情绪成因的宝贵理解。涉及20名参与者的初步研究进一步激发了利用EMOShip赋能情绪感知应用的潜力，例如情感关联自我反思和情感关联生活记录。