利用多模态数据检测日常生活事件

事件对于理解人们如何体验生活至关重要。然而，自动记录日常生活中的全部事件具有挑战性。对多媒体信号的理解使得识别日常生活事件并尽可能自动地获取其属性成为可能。本文考虑利用智能手机和可穿戴设备获取的常用多媒体数据来识别日常事件的问题。我们开发了一种非侵入式方法从数据中获取潜在语义信息，并由此提出一种基于语义上下文丰富的日常事件识别方法。我们通过事件知识图表示丰富过程，该图从低层日常活动出发对日常事件进行语义丰富。为展示此丰富过程的具体示例，我们利用三名用户 14 个月的数据，以进食活动（可能是最复杂的事件之一）进行实验。在此过程中，为 noninvasively 补充语义信息的缺失，我们提出了一种仅关注于食物摄入生理反应的新食物识别/分类方法。实验结果表明，我们的方法能够实现生活体验的自动抽象。这些日常事件随后可用于创建个人模型，以捕捉特定条件下个人对不同刺激的反应。