双语文本到动作生成：一个新基准与基线

文本到动作生成在跨语言应用中具有重要潜力，但由于缺乏双语数据集以及现有语言模型的跨语言语义理解不足而受到阻碍。为此，我们引入 BiHumanML3D，首个双语文本到动作基准，通过 LLM 辅助标注和严格的人工校正构建。进一步，我们提出一种简单而有效的基线方法——双语运动扩散（BiMD），其特点是跨语言对齐（CLA）。CLA 显式地对跨语言语义表示进行对齐，创建稳健的条件空间，从而实现对双语输入（包括零样本代码切换场景）的高质量动作生成。广泛的实验表明，BiMD with CLA 在 BiHumanML3D 上的 FID 为 0.045，而 R@3 为 82.8%，显著优于单语扩散模型和翻译基线，凸显了该数据集和对齐策略在跨语言运动合成中的关键必要性与可靠性。数据集与代码已发布于\href{https://wengwanjiang.github.io/BilingualT2M-page}{https://wengwanjiang.github.io/BilingualT2M-page}。