PresSim：基于物理三维仿真从单目视频生成动态地面压力分布端到端框架
计算机视觉与模式识别
2023-07-25 v1 人工智能
图形学
摘要
人体施加的地面压力是人机非侵入式普适感知中人类活动识别（HAR）的宝贵信息源。基于压力传感器收集数据以开发 HAR 方案需要大量资源与精力，而我们提出一种新颖的端到端框架 PresSim，从人类活动视频中合成传感器数据，以显著降低此类精力。PresSim 采用三阶段流程：首先，利用计算机视觉架构从视频中提取三维活动信息；随后基于三维活动信息与含重力的物理仿真模拟地板网格形变分布；最后，通过深度学习模型生成仿真压力传感器数据。我们探索了两种获取三维活动信息的方法：带网格重定向的逆运动学，以及体积姿态与形状估计。我们使用单目相机提供输入、压力感知健身垫（80x28 空间分辨率）提供传感器真值的实验设置验证了 PresSim，其中九名参与者执行了一组预定义的瑜伽序列。
引用
@article{arxiv.2302.00391,
title = {PresSim: An End-to-end Framework for Dynamic Ground Pressure Profile Generation from Monocular Videos Using Physics-based 3D Simulation},
author = {Lala Shakti Swarup Ray and Bo Zhou and Sungho Suh and Paul Lukowicz},
journal= {arXiv preprint arXiv:2302.00391},
year = {2023}
}
备注
Percom2023 workshop(UMUM2023)