用文本发送数据：为人类活动识别从文本描述生成地面压力序列
机器学习
2024-02-23 v1 计算与语言
信号处理
摘要
在人类活动识别（HAR）中，大量真实数据的可用性对于训练高效模型是必要的。然而，通过物理传感器获取地面压力数据本身可能成本高昂且耗时。为解决这一关键需求，我们引入了 Text-to-Pressure (T2P) 框架，旨在利用深度学习技术从人类活动的文本描述中生成大量的地面压力序列。我们表明，结合传感器数据的矢量量化与简单的文本条件自回归策略，借助文本与压力图之间的离散潜在相关性，使我们能够从文本描述中获得高质量的生成压力序列。我们在文本与生成运动的一致性方面取得了可比的性能，R 平方值为 0.722，掩码 R 平方值为 0.892，FID 得分为 1.83。此外，我们使用合成数据训练了一个 HAR 模型，并在由真实压力传感器收集的压力动力学数据上进行了评估，其表现与仅使用真实数据训练的模型相当。结合真实数据和合成训练数据，整体宏观 F1 分数提高了 5.9%。
引用
@article{arxiv.2402.14427,
title = {Text me the data: Generating Ground Pressure Sequence from Textual Descriptions for HAR},
author = {Lala Shakti Swarup Ray and Bo Zhou and Sungho Suh and Lars Krupp and Vitor Fortes Rey and Paul Lukowicz},
journal= {arXiv preprint arXiv:2402.14427},
year = {2024}
}
备注
PerCom2024WiP