基于触觉信号的3D姿态估计、动作分类与动作进度预测统一表示
计算机视觉与模式识别
2026-03-30 v1
摘要
估计人类姿态、分类动作以及预测运动进度是人机交互的关键任务。虽然基于视觉的方法在现实环境中受到遮挡和隐私问题的制约，但触觉感知能够规避这些问题。然而，先前的触觉方法为处理每个任务都独立进行，导致性能次优。本文提出一种用于触觉推断的共享卷积变换器(SCOTTI)，通过学习共享表示同时解决三个独立的预测任务：3D人体姿态估计、动作类别分类和动作完成进度估计。据我们了解，这是首个利用来自自定义无线鞋垫传感器的脚部触觉信号探索动作进度预测的工作。这种统一方法利用多任务学习的相互优势，使模型在与独立学习相比，在所有三个任务上均实现 improved performance。实验结果表明，SCOTTI在所有三个任务上均优于现有方法。此外，我们引入了一个新数据集，来自15名参与者完成各种活动和运动，总时长为7小时，覆盖八种不同活动。
引用
@article{arxiv.2603.25906,
title = {Shared Representation for 3D Pose Estimation, Action Classification, and Progress Prediction from Tactile Signals},
author = {Isaac Han and Seoyoung Lee and Sangyeon Park and Ecehan Akan and Yiyue Luo and Joseph DelPreto and Kyung-Joong Kim},
journal= {arXiv preprint arXiv:2603.25906},
year = {2026}
}