融合可穿戴传感器数据与自我报告日记以实现个性化情感预测

情绪状态作为情感的指标，对整体健康至关重要，因此在其发生前进行准确预测十分关键。当前的研究主要集中在利用可穿戴和移动设备数据进行即时短期情感检测。这些研究通常侧重于客观的传感测量，往往忽略了其他形式的自我报告信息，如日记和笔记。在本文中，我们提出了一种用于情感状态预测的多模态深度学习模型。该模型将 Transformer 编码器与预训练语言模型相结合，促进了对客观指标和自我报告日记的整合分析。为验证我们的模型，我们进行了一项纵向研究，招募大学生并对其进行为期一年的监测，以收集一个广泛的数据集，包括生理、环境、睡眠、代谢和身体活动参数，以及参与者提供的开放式文本日记。我们的结果表明，所提出的模型在提前一周预测积极情感和消极情感方面分别达到了 82.50% 和 82.76% 的准确率。其可解释性进一步提升了我们模型的有效性。