LieHMR：基于 $SO(3)$ 扩散的自回归人体网格恢复

我们处理从单张 RGB 图像进行人体网格恢复（HMR）的问题，将其形式化为以图像为条件的人体姿态与形状生成。虽然从二维观测中恢复三维人体姿态本身具有歧义性，但大多数现有方法都回归出单一的确定性输出。概率方法试图通过生成多个合理输出来建模这种歧义性。然而，这些方法往往在准确性与样本多样性之间进行权衡，其单一预测结果无法与最先进的确定性模型相竞争。为克服这些局限，我们提出了一种新颖的方法，该方法建模与二维观测良好对齐的分布。特别地，我们引入了 $SO(3)$ 扩散模型，该模型通过条件丢弃（conditioning dropout）生成以三维旋转表示的姿态参数分布，既可无条件生成，也可以图像观测为条件生成。我们的模型利用 Transformer 学习人体关节的层次结构。不同于将 Transformer 用作去噪模型，与时间无关的 Transformer 提取关节的隐向量，而一个基于小型 MLP 的去噪模型则学习以该隐向量为条件的逐关节分布。我们通过实验证明并分析了我们的模型能有效预测准确的姿态概率分布。