DuoGesture：神经启发与生物力学信息双流协同语气手势生成
计算机视觉与模式识别
2026-05-27 v1 声音
摘要
协同语气手势生成需要兼顾语义表达性和生物力学可行的节奏运动。现有整合式手势模型将词汇相关语义手势与频繁的韵律对齐拍手手势混合在一起，这限制了语义对齐、运动-语义对齐以及运动学的平滑性。我们提出\emph{DuoGesture}，一种受神经启发且受生物力学信息驱动的双流方法，将协同语气手势合成分解为耦合的语义流和拍手流。两条流由\emph{语义变分信息瓶颈}（Semantic Variational Information Bottleneck）控制，这是一个学习语义手势何时覆盖节奏拍手动作的随机帧级门控器。语义流由\emph{动作对齐语义条件}（Motion-Grounded Semantic Conditioning）控制，后者用运动-语言表示取代纯语言词向量，为长尾词汇触发器提供运动对齐的语义先验。拍手流进一步受\emph{惯性拍手先验}（Inertial Beat Prior）正则化，该先验采用人体解剖学加权的手臂链模块，无需约束语义帧即可减少抖动并提高节奏一致性。客观评估和主观实验表明，DuoGesture 在强大的整合基线上实现了显著优势，组件消融实验确认了语义对齐、随机流选择和生物力学正则化的互补作用。
引用
@article{arxiv.2605.26236,
title = {DuoGesture: Neuro-Inspired and Biomechanically Informed Dual-Stream Co-Speech Gesture Generation},
author = {Ferdinand Paar and Lanmiao Liu and Aslı Özyürek and Serge Thill and Esam Ghaleb},
journal= {arXiv preprint arXiv:2605.26236},
year = {2026}
}