基于尺度自适应标记的实时多人3D网格估计

我们提出了一个基于单张RGB图像的实时多人3D人体网格估计的单阶段框架。虽然当前单阶段方法（遵循DETR式流程）以高分辨率输入实现了最先进（SOTA）性能，但我们注意到这尤其有利于估计图像中尺度较小的个体（例如距离相机较远的个体），但以显著增加的计算开销为代价。为此，我们引入基于每个个体在图像中相对尺度动态调整的尺度自适应标记。具体而言，尺度较小的个体以更高分辨率处理，尺度较大的个体以更低分辨率处理，背景区域则进一步精简。这些尺度自适应标记更高效地编码图像特征，促进后续解码以回归人体网格，同时允许模型更有效地分配计算资源并聚焦更具挑战性的案例。实验表明，我们的方法在保持高分辨率处理准确性优势的同时，显著降低了计算成本，实现了与SOTA方法相当的性能。