SmoothSync：用于抖动鲁棒的节拍同步手势生成的双流扩散Transformer
声音
2026-01-09 v1 人工智能
机器人学
音频与语音处理
摘要
共语气体生成是旨在合成与语音同步的人类式手势的关键研究领域。现有方法常常存在节奏不一致、动作抖动、脚滑以及多采样多样性有限等问题。本文提出SmoothSync框架，利用量化音频标记在一种新颖的双流扩散Transformer(DiT)架构中合成整体手势并增强采样变异性。具体而言，我们(1)通过互补的Transformer流实现音频-动作特征的融合，以实现卓越的同步，(2)引入抖动抑制损失以提高时间平滑性，(3)实施概率音频量化以从相同的输入生成不同的手势序列。为可靠评估抖动下的节拍同步，我们引入Smooth-BC，一种对动作噪声不那么敏感的鲁棒式节拍一致性指标。针对BEAT2和SHOW数据集进行的全面实验表明，SmoothSync在BEAT2上分别以-30.6% FGD、10.3% Smooth-BC和8.4% Diversity显著优于最先进的方法，同时通过-62.9%和-17.1%分别降低了抖动和脚滑。该代码将公开发布以促进未来研究。
关键词
引用
@article{arxiv.2601.04236,
title = {SmoothSync: Dual-Stream Diffusion Transformers for Jitter-Robust Beat-Synchronized Gesture Generation from Quantized Audio},
author = {Yujiao Jiang and Qingmin Liao and Zongqing Lu},
journal= {arXiv preprint arXiv:2601.04236},
year = {2026}
}