通过文本提示评估推进零样本数字人质量评价
图像与视频处理
2023-07-07 v1 计算机视觉与模式识别
数据库
摘要
数字人已在诸多领域得到广泛应用，亟需相关质量评价研究。然而，目前缺乏全面的数字人质量评价（DHQA）数据库。为弥补此缺口，我们提出 SJTU-H3D，一个专为全身数字人设计的主观质量评价数据库。其包含 40 个高质量参考数字人，以及由七类失真生成的 1,120 个带标注失真样本。SJTU-H3D 数据库可作为 DHQA 研究的基准，用以评估并改进处理算法。进一步，我们提出一种聚焦无参考（NR）场景的零样本 DHQA 方法，以保证泛化能力并减轻数据库偏差。我们的方法利用从投影中提取的语义与失真特征，以及从数字人网格结构导出的几何特征。具体而言，我们采用对比语言-图像预训练（CLIP）模型度量语义亲和性，并引入自然图像质量评价器（NIQE）模型捕捉底层失真信息。此外，我们利用二面角作为几何描述子提取网格特征。通过聚合这些度量，我们提出数字人质量指数（DHQI），其在零样本性能上表现出显著提升。DHQI 亦可作 DHQA 任务的稳健基线，推动该领域进展。数据库与代码见 https://github.com/zzc-1998/SJTU-H3D。
引用
@article{arxiv.2307.02808,
title = {Advancing Zero-Shot Digital Human Quality Assessment through Text-Prompted Evaluation},
author = {Zicheng Zhang and Wei Sun and Yingjie Zhou and Haoning Wu and Chunyi Li and Xiongkuo Min and Xiaohong Liu and Guangtao Zhai and Weisi Lin},
journal= {arXiv preprint arXiv:2307.02808},
year = {2023}
}