ActivityNarrated：面向可穿戴人体活动理解的开放式叙事范式
机器学习
2026-04-02 v1
摘要
可穿戴人体活动识别（HAR）已稳步改进，但大多数进展仍依赖于封闭集分类，这限制了实际应用。实际上，人类活动是开放式的、非预设的、个性化的，且往往是组合性的，它以叙事的形式展开，而非固定类别的实例。我们认为，解决这一差距并不需要简单地扩大数据集或模型。它需要对可穿戴HAR的构建、监督和评估方式进行根本性的转变。本工作展示了如何通过在开放词汇设置中将可穿戴传感器数据与自然语言描述对齐，来建模开放式活动叙事。我们的框架包含三个核心组件。首先，我们引入了一个自然化的数据采集与标注流程，将多位置可穿戴感知与自由形式的、时间对齐的行为叙事描述相结合，使得活动语义能够在没有预定义词汇表的情况下自然涌现。其次，我们定义了一个基于检索的评估框架，用于衡量传感器数据与语言之间的语义对齐，从而在没有固定类别的情况下进行原则性评估，同时将封闭集分类作为一个特例纳入其中。第三，我们提出了一种语言条件驱动的学习架构，支持在可变长度传感器流和异构传感器部署上进行从传感器到文本的推理。实验表明，使用固定标签目标训练的模型在真实世界变化下急剧退化，而开放词汇的传感器-语言对齐则产生了鲁棒且语义扎实的表示。一旦这种对齐被学习到，封闭集活动识别就成为一个简单的下游任务。在跨参与者评估中，我们的方法达到了65.3%的Macro-F1，而强大的封闭集HAR基线仅为31-34%。这些结果确立了开放式叙事建模作为实际可行的现实世界可穿戴HAR的基础。
引用
@article{arxiv.2604.00767,
title = {ActivityNarrated: An Open-Ended Narrative Paradigm for Wearable Human Activity Understanding},
author = {Lala Shakti Swarup Ray and Mengxi Liu and Alcina Pinto and Deepika Gurung and Daniel Geissler and Paul Lukowoicz and Bo Zhou},
journal= {arXiv preprint arXiv:2604.00767},
year = {2026}
}