Skeleton-in-Context：基于上下文学习的统一骨架序列建模

上下文学习为视觉和 NLP 的多任务建模提供了新的视角。在此设置下，模型可以从提示中感知任务并在无需任何额外特定任务头预测或模型微调的情况下完成它们。然而，通过上下文学习进行骨架序列建模仍未被探索。由于帧间和跨任务的姿态相似性，使得从微妙的上下文中正确感知任务变得异常困难，将其他领域现有的上下文模型直接应用于骨架序列会失败。为了应对这一挑战，我们提出了 Skeleton-in-Context (SiC)，一个用于上下文骨架序列建模的有效框架。我们的 SiC 能够在单次训练过程后同时处理多个基于骨架的任务，并根据给定的提示从上下文中完成每个任务。它还可以根据自定义提示进一步泛化到新的、未见过的任务。为了促进上下文感知，我们额外提出了一个任务统一提示，它能够自适应地学习不同性质的任务，例如部分关节级别的生成、序列级别的预测或 2D 到 3D 的运动预测。我们进行了广泛的实验，以评估我们的 SiC 在多个任务上的有效性，包括运动预测、姿态估计、关节补全和未来姿态估计。我们还在未见过的任务（如运动中间补全）上评估了其泛化能力。这些实验表明，我们的模型实现了 SOTA 的多任务性能，甚至在某些任务上优于单任务方法。