中文

利用视觉基础模型对HAR数据集进行弱标注

人机交互 2024-08-12 v1 计算机视觉与模式识别

摘要

截至目前,基于可穿戴设备的数据标注仍然是一项繁琐且耗时的任务,需要研究人员投入大量时间,导致人体活动识别(HAR)领域的基准数据集在丰富度和规模上相较于相关领域的数据集有所不足。近年来,视觉基础模型如CLIP获得了广泛关注,帮助视觉社区在寻找鲁棒、可泛化的特征表示方面取得进展。由于可穿戴社区的大多数研究者依赖视觉模态来克服可穿戴数据表达力的局限性,并准确地为即将发布的基准数据集进行离线标注,我们提出了一种新颖的基于聚类的标注流水线,以显著减少需要人工标注的数据量。我们表明,使用我们的方法,仅标注质心片段就足以在三个公开可用的HAR基准数据集上实现接近90%的平均标注准确率。利用弱标注数据集,我们进一步证明可以在所有三个基准数据集上匹配全监督深度学习分类器的准确率。代码以及补充图表和结果可通过github.com/mariusbock/weak_har公开下载。

关键词

引用

@article{arxiv.2408.05169,
  title  = {Weak-Annotation of HAR Datasets using Vision Foundation Models},
  author = {Marius Bock and Kristof Van Laerhoven and Michael Moeller},
  journal= {arXiv preprint arXiv:2408.05169},
  year   = {2024}
}

备注

8 pages, 3 figures, accepted at ISWC'24: International Symposium on Wearable Computers, Oct, 2024