LaDy：基于拉格朗日动力学的骨架基动作分段网络 via 空间-时间调制
计算机视觉与模式识别
2026-03-26 v1
摘要
骨架基时序动作分段（STAS）旨在将未裁剪的骨架序列密集解析为帧级动作类别。然而，现有方法虽擅长捕捉时空运动学，却忽略了支配人类运动的潜在物理动力学。这一误区限制了动作在相似运动学但异构动力学意图之间的类别可辨性，并阻碍了在动力学力 profile 变化时进行精确边界定位。为此，我们提出了拉格朗日动力学信息网络（LaDy），将拉格朗日动力学原理引入分段过程。具体而言，LaDy 首先从关节位置计算广义坐标，然后在物理约束下估计拉格朗日项，以显式合成广义力。为进一步确保物理一致性，我们的能量一致性损失 enforces 功-能量定理，将动能变化与净力做功相吻合。所学动力学驱动空间-时间调制模块：在空间上，广义力与空间表征融合，以提供更具辨识度的语义；在时间上，构建显著动力学信号用于时序门控，从而显著提升边界感知。实验表明，在具有挑战性数据集上，LaDy 实现了最先进的性能，验证了物理动力学集成对动作分段的作用。代码已公开于 https://github.com/HaoyuJi/LaDy。
引用
@article{arxiv.2603.24097,
title = {LaDy: Lagrangian-Dynamic Informed Network for Skeleton-based Action Segmentation via Spatial-Temporal Modulation},
author = {Haoyu Ji and Xueting Liu and Yu Gao and Wenze Huang and Zhihao Yang and Weihong Ren and Zhiyong Wang and Honghai Liu},
journal= {arXiv preprint arXiv:2603.24097},
year = {2026}
}
备注
CVPR Conference