MARRS：基于掩码自回归单元的反应合成
计算机视觉与模式识别
2026-04-28 v4
摘要
本工作旨在解决一项具有挑战性的任务：人体动作-反应合成，即根据另一个人的动作序列生成人体反应。目前，基于向量量化（VQ）的自回归建模方法在动作生成任务中取得了显著性能。然而，VQ 存在固有的缺点，包括量化信息损失、码本利用率低等。此外，虽然将身体划分为独立的单元可能是有益的，但需要考虑计算复杂度。同时，单元间相互感知的重要性常常被忽视。在本工作中，我们提出了 MARRS，这是一个新颖的框架，旨在使用连续表示生成协调且细粒度的反应动作。首先，我们提出了单元区分动作变分自编码器（UD-VAE），它将整个身体分割为不同的身体和手部单元，并对每个单元进行独立编码。随后，我们提出了动作条件融合（ACF），该机制随机掩码一部分反应令牌，并从主动令牌中提取关于身体和手部的特定信息。此外，我们引入了互单元调制（MUM），通过使用一个单元的信息自适应地调制另一个单元，来促进身体和手部单元之间的交互。最后，对于扩散模型，我们为每个不同的身体单元采用一个紧凑的 MLP 作为噪声预测器，并引入扩散损失来建模每个令牌的概率分布。定量和定性结果均表明，我们的方法实现了优越的性能。项目页面：https://aigc-explorer.github.io/MARRS/。
引用
@article{arxiv.2505.11334,
title = {MARRS: Masked Autoregressive Unit-based Reaction Synthesis},
author = {Yabiao Wang and Shuo Wang and Jiangning Zhang and Jiafu Wu and Qingdong He and Yong Liu},
journal= {arXiv preprint arXiv:2505.11334},
year = {2026}
}
备注
Accepted to IEEE TVCG 2026. Project page: https://aigc-explorer.github.io/MARRS/