TxP：地面压力动态与活动描述的互逆生成及其在改善人类活动识别中的应用
人工智能
2025-05-06 v1 计算机视觉与模式识别
摘要
基于传感器的人类活动识别（HAR）主要集中于惯性测量单元和视觉数据，往往忽视了压力传感器独有的能力，即捕捉细微的身体动态和质心偏移。尽管压力传感器在姿势和平衡类活动方面具有潜力，但由于数据集有限，其在 HAR 领域仍未得到充分利用。为弥合这一差距，我们提出利用生成式基础模型与针对压力的 HAR 技术。具体而言，我们提出一个双向的 Text×Pressure 模型，该模型使用生成式基础模型将压力数据解释为自然语言。TxP 完成两项任务：（1）Text2Pressure，将活动文本描述转换为压力序列；（2）Pressure2Text，从动态压力图生成活动描述和分类。利用 CLIP 和 LLaMA 2 13B Chat 等预训练模型，TxP 在我们合成的 PressLang 数据集上训练，该数据集包含超过 81,100 个文本-压力对。在瑜伽和日常任务等活动的真实世界数据上验证后，TxP 提供了基于原子动作的数据增强和分类新方法。与现有最优技术相比，这将 HAR 性能的宏观 F1 分数提高了多达 12.4%，推动了基于压力的 HAR 发展，使其具有更广泛的应用和对人类运动更深入的洞察。
引用
@article{arxiv.2505.02052,
title = {TxP: Reciprocal Generation of Ground Pressure Dynamics and Activity Descriptions for Improving Human Activity Recognition},
author = {Lala Shakti Swarup Ray and Lars Krupp and Vitor Fortes Rey and Bo Zhou and Sungho Suh and Paul Lukowicz},
journal= {arXiv preprint arXiv:2505.02052},
year = {2025}
}