BAD：用于文本到动作生成的双向自回归扩散模型
计算与语言
2024-09-18 v1 计算机视觉与模式识别
机器学习
摘要
自回归模型通过施加因果约束在建模序列依赖关系方面表现出色，但由于其单向性质，难以捕捉复杂的双向模式。相比之下，基于掩码的模型利用双向上下文，实现了更丰富的依赖关系建模。然而，它们在预测期间通常假设 token 独立，这削弱了对序列依赖关系的建模。此外，通过掩码或吸收对序列进行破坏会引入不自然的失真，使学习过程复杂化。为了解决这些问题，我们提出了双向自回归扩散 (BAD)，这是一种统一了自回归和基于掩码的生成模型优势的新方法。BAD 利用一种基于排列的破坏技术，在保持自然序列结构的同时通过随机排序施加因果依赖，从而有效捕捉序列和双向关系。综合实验表明，BAD 在文本到动作生成中优于自回归和基于掩码的模型，这提出了一种用于序列建模的新型预训练策略。BAD 的代码库可在 https://github.com/RohollahHS/BAD 获取。
引用
@article{arxiv.2409.10847,
title = {BAD: Bidirectional Auto-regressive Diffusion for Text-to-Motion Generation},
author = {S. Rohollah Hosseyni and Ali Ahmad Rahmani and S. Jamal Seyedmohammadi and Sanaz Seyedin and Arash Mohammadi},
journal= {arXiv preprint arXiv:2409.10847},
year = {2024}
}