基于手动与非手动特征建模的多样化手势化身
计算机视觉与模式识别
2025-08-25 v1
摘要
手势表示的多样性对于手势语言生成（Sign Language Production, SLP）至关重要，因为它捕捉了外观、面部表情和手部动作的变化。然而，现有的 SLP 模型往往无法在保持视觉质量的同时捕捉多样性，或对建模非手动特征（如情绪）方面存在不足。为此，我们提出一种新方法，利用潜在扩散模型（Latent Diffusion Model, LDM）来合成逼真的数字化身。我们提出一种新的手势特征聚合模块，显式地建模非手动特征（如面部）和手动特征（如手部）。我们表明，该模块确保语言内容的保存，同时能够无缝地使用不同族裔背景的参考图像以确保多样性。在YouTube-SL-25手势语言数据集上进行的实验表明，我们的管道在视觉质量方面优于现有方法，在感知指标上实现了显著提升。
引用
@article{arxiv.2508.15988,
title = {Diverse Signer Avatars with Manual and Non-Manual Feature Modelling for Sign Language Production},
author = {Mohamed Ilyes Lakhal and Richard Bowden},
journal= {arXiv preprint arXiv:2508.15988},
year = {2025}
}