POET：面向持续人类动作适应的提示偏移调优
计算机视觉与模式识别
2025-04-28 v1
摘要
随着增强现实(XR)正在重塑用户与计算设备的交互方式，人类动作识别研究正日益受到关注。通常情况下，部署在沉浸式计算设备上的模型是静态的，仅限于其默认的一组类别。我们的研究目标是为用户和开发者提供一种能力，使其能够不断添加新的动作类别以持续个性化其设备模型。重要的是，用户应能够以低样本数高效地添加新类别，而这一过程不应要求存储或回放用户的敏感训练数据。我们将此问题形式化为隐私感知的少样本持续动作识别。为此，我们提出POET：提示偏移调优。虽然已有的提示调优方法在图像、文本和视频模态的持续学习方面表现出色；但它们需要大量预训练变压器。打破这一假设，POET展示了仅在基础类别数据上预训练的显著轻量级背板进行提示调优的有效性。我们提出一种新颖的时空可学习提示偏移调优方法，是首次将此类提示调优应用于图神经网络。我们贡献了两个新的基准数据集以适应我们的新问题设置进行人类动作识别：(i)用于活动识别的NTU RGB+D数据集；(ii)用于手势识别的SHREC-2017数据集。我们发现POET在全面基准测试中 consistently优于现有方法。源码地址：https://github.com/humansensinglab/POET-continual-action-recognition。
引用
@article{arxiv.2504.18059,
title = {POET: Prompt Offset Tuning for Continual Human Action Adaptation},
author = {Prachi Garg and Joseph K J and Vineeth N Balasubramanian and Necati Cihan Camgoz and Chengde Wan and Kenrick Kin and Weiguang Si and Shugao Ma and Fernando De La Torre},
journal= {arXiv preprint arXiv:2504.18059},
year = {2025}
}
备注
ECCV 2024 (Oral), webpage https://humansensinglab.github.io/POET-continual-action-recognition/