EgoLog：基于普适可穿戴设备的以自我为中心的细粒度日常日志
人机交互
2026-01-07 v3
摘要
尽管基于不同模态的人体活动识别（HAR）已取得诸多进展，但精确、鲁棒且准确的日常日志系统仍未实现。现有方案主要依赖于受控的、基于实验室的数据采集，这限制了其在真实场景中的适用性。构建细粒度日常日志所面临的挑战包括：1）上下文感知，2）空间感知，3）多模态传感器数据的有效融合。为应对这些挑战，我们提出了 EgoLog，它将有效的音频-IMU 融合与普适可穿戴设备相结合，用于日常日志记录。我们的方法首先从时间理解与空间理解两个角度融合音频与 IMU 数据。我们提取场景级特征并在时间维度上进行聚合，同时利用运动补偿来提升声源定位的性能。从这些步骤中获取的知识随后被整合到一个多模态 HAR 框架中。其中，场景提供先验知识，空间位置则有助于将用户与背景区分开来。此外，我们集成了一个 LLM，通过逻辑推理增强场景识别。从 LLM 获得的知识随后被回传至本地设备，以实现高效的设备端推理。在公开数据集与自采数据集上的评估表明，EgoLog 在活动识别与场景识别方面均实现了有效的多模态融合，分别比基线方法高出 12% 和 15%。
引用
@article{arxiv.2504.02624,
title = {EgoLog: Ego-Centric Fine-Grained Daily Log with Ubiquitous Wearables},
author = {Lixing He and Bufang Yang and Di Duan and Zhenyu Yan and Guoliang Xing},
journal= {arXiv preprint arXiv:2504.02624},
year = {2026}
}