基于区域感知循环损失的自适应多模态数字人手部合成控制
计算机视觉与模式识别
2024-09-17 v1
摘要
扩散模型已展现出其在图像合成方面的卓越能力，包括生成特定姿态的人体。然而，当前模型在充分表达用于精细手部姿态生成的条件控制方面面临挑战，导致手部区域出现显著失真。为解决此问题，我们首先整理了 How2Sign 数据集，以提供更丰富、更准确的手部姿态标注。此外，我们引入了自适应多模态融合，以整合以不同模态（如骨骼、深度和表面法线）表达的人物物理特征。更进一步，我们提出了一种新颖的区域感知循环损失（Region-Aware Cycle Loss, RACL），使扩散模型训练能够专注于改善手部区域，从而提升生成手势的质量。具体而言，所提出的 RACL 计算生成图像与真实图像之间全身姿态关键点的加权关键点距离，以在平衡整体姿态准确性的同时生成更高质量的手部姿态。此外，我们使用两个手部区域指标，即手部 PSNR 和手部距离，用于手部姿态生成评估。我们的实验评估证明了所提出方法在使用扩散模型提升数字人体姿态生成质量方面的有效性，尤其是在手部区域的质量方面。源代码可在 https://github.com/fuqifan/Region-Aware-Cycle-Loss 获取。
引用
@article{arxiv.2409.09149,
title = {Adaptive Multi-Modal Control of Digital Human Hand Synthesis Using a Region-Aware Cycle Loss},
author = {Qifan Fu and Xiaohang Yang and Muhammad Asad and Changjae Oh and Shanxin Yuan and Gregory Slabaugh},
journal= {arXiv preprint arXiv:2409.09149},
year = {2024}
}
备注
This paper has been accepted by the ECCV 2024 HANDS workshop