利用虚拟空间合成以事件为中心的日常活动知识图谱

人工智能（AI）有望具身于软件智能体、机器人与信息物理系统中，以理解家庭环境下日常生活的各类情境信息，从而在多样情境中支持人类行为与决策。场景图与知识图谱（KG）构建技术因基于知识的具身问答符合此预期而备受关注。然而，在物理空间中于多种实验条件下收集与管理日常活动的真实数据成本高昂，且开发理解意图与语境的 AI 颇为困难。未来，预计将结合易于修改条件的虚拟空间数据与难以改变条件的物理空间数据来分析日常生活活动。但利用虚拟空间进行日常活动 KG 构建及其应用的研究尚待推进。其潜力与挑战仍须厘清，以促成面向人类日常生活的 AI 发展。为此，本研究提出 VirtualHome2KG 框架，用于在虚拟空间中生成日常活动的合成 KG。该框架基于所提的以事件为中心的 schema 与虚拟空间仿真结果，增强日常活动的合成视频数据及与视频内容对应的上下文语义数据。因此，可分析上下文感知数据，并开发传统上因相关数据与语义信息匮乏而难以开发的各种应用。我们还通过若干用例（包括借助查询、嵌入与聚类的日常活动分析，以及跌倒风险检测等）展示了所提 VirtualHome2KG 框架的效用与潜力。