从虚拟文本描述生成虚拟体载加速度计数据用于人类活动识别
计算机视觉与模式识别
2023-05-08 v1
摘要
在人类活动识别（HAR）中，鲁棒且泛化模型的开发一直受到大规模标注数据集稀缺的阻碍。近期研究表明，利用计算机视觉技术从视频中提取的虚拟 IMU 数据，在与少量真实 IMU 数据结合训练 HAR 模型时，可带来显著的性能提升。受近期从文本描述进行运动合成以及将大语言模型（LLMs）连接到各类 AI 模型的进展启发，我们引入了一种自动化流水线：首先使用 ChatGPT 生成多样化的活动文本描述；随后通过这些文本描述经运动合成模型 T2M-GPT 生成 3D 人体运动序列，并进一步转换为虚拟 IMU 数据流。我们在三个 HAR 数据集（RealWorld、PAMAP2 和 USC-HAD）上对所提方法进行了基准测试，结果表明，与使用仅真实 IMU 数据相比，采用本新方法生成的虚拟 IMU 训练数据可显著提升 HAR 模型性能。我们的方法为不断发展的跨模态迁移方法领域作出贡献，并展示了如何通过生成无需任何人工操作的虚拟训练数据来改进 HAR 模型。
引用
@article{arxiv.2305.03187,
title = {Generating Virtual On-body Accelerometer Data from Virtual Textual Descriptions for Human Activity Recognition},
author = {Zikang Leng and Hyeokhyen Kwon and Thomas Plötz},
journal= {arXiv preprint arXiv:2305.03187},
year = {2023}
}