SOSControl：通过显著性感知符号姿态与时序控制提升人类运动生成
计算机视觉与模式识别
2026-01-22 v1 多媒体
摘要
传统文本到运动框架往往缺乏精确控制，现有方法基于关节关键帧位置仅提供位置指导，难以直观地指定身体部位姿态和运动时序。为此，我们提出了显著姿态符号（SOS）脚本，一种可编程的符号框架，用于在关键帧处指定身体部位姿态和运动时序。我们进一步提出了自动 SOS 提取管道，采用时序约束的层次聚类进行帧显著性检测，并利用显著性掩码方案（SMS）直接从运动数据生成稀疏、可解释的 SOS 脚本。此外，我们提出了 SOSControl 框架，将稀疏 SOS 脚本中的可用姿态符号视为显著项，并优先满足这些约束。通过融合 SMS 基于数据的数据增强和梯度基于的迭代优化，框架提高了与用户指定约束的对齐度。此外，它采用基于 ControlNet 的 ACTOR-PAE 解码器，以确保运动输出的平滑与自然。大量实验表明，SOS 提取管道生成的人类可解释脚本在显著关键帧处具备符号注释，而 SOSControl 框架在运动质量、可控性和泛化性方面均优于现有基线，尤其是在运动时序和身体部位姿态控制方面。
引用
@article{arxiv.2601.14258,
title = {SOSControl: Enhancing Human Motion Generation through Saliency-Aware Symbolic Orientation and Timing Control},
author = {Ho Yin Au and Junkun Jiang and Jie Chen},
journal= {arXiv preprint arXiv:2601.14258},
year = {2026}
}
备注
Accepted by AAAI 2026