通过传感器触发文本描述实现智能家居中与布局无关的人类活动识别
人工智能
2024-05-22 v1 计算与语言
人机交互
摘要
在智能家居中使用环境传感器进行人类活动识别(HAR)在人类医疗保健和健康方面有许多应用。然而，构建能够部署到新智能家居环境的通用HAR模型需要大量带注释的传感器数据和训练开销。大多数智能家居在布局(即平面图和嵌入传感器的具体细节)上差异很大，导致针对特定家庭训练的HAR模型泛化能力低。我们通过引入一种新颖的、与布局无关的智能家居HAR系统建模方法来解决这一局限性，该方法利用原始传感器数据自然语言描述的可迁移表示能力。为此，我们生成了传感器触发文本描述(TDOST)，它封装了周围的触发条件，并为活动识别模型提供了潜在活动的线索。利用文本嵌入而非原始传感器数据，我们创建了能够跨家庭预测标准活动的活动识别系统，无需在目标家庭上进行(重新)训练或适应。通过广泛评估，我们在基准CASAS数据集上的实验中证明了基于TDOST的模型在未见过的智能家居中的有效性。此外，我们详细分析了我们方法的各个组成部分如何影响下游活动识别性能。
引用
@article{arxiv.2405.12368,
title = {Layout Agnostic Human Activity Recognition in Smart Homes through Textual Descriptions Of Sensor Triggers (TDOST)},
author = {Megha Thukral and Sourish Gunesh Dhekane and Shruthi K. Hiremath and Harish Haresamudram and Thomas Ploetz},
journal= {arXiv preprint arXiv:2405.12368},
year = {2024}
}