对话头部生成中人类偏好的学习与评估
计算机视觉与模式识别
2023-08-03 v2
摘要
一个可靠且全面、与人工偏好评估相一致的评测指标，对于对话头部视频合成方法的发展至关重要。现有的定量评估往往无法捕捉人类偏好的全部复杂性，因为它们仅考虑了有限的评估维度。定性评估与用户研究提供了一种解决途径，但耗时耗力。这一局限阻碍了对话头部生成算法与系统的进步。本文中，我们提出一种新颖的基于学习的评估指标，称为偏好分数（Preference Score, PS），用于根据不同维度的定量评估来拟合人类偏好。PS 可作为一种无需人工标注的定量评估。实验结果验证了偏好分数在与人类感知对齐上的优越性，并展示了其对未见过数据的鲁棒性与泛化能力，使其成为推动对话头部生成的有价值工具。我们期望该指标能促成对话头部生成的新进展。项目页面：https://https://github.com/dc3ea9f/PreferenceScore。
引用
@article{arxiv.2307.10636,
title = {Learning and Evaluating Human Preferences for Conversational Head Generation},
author = {Mohan Zhou and Yalong Bai and Wei Zhang and Ting Yao and Tiejun Zhao and Tao Mei},
journal= {arXiv preprint arXiv:2307.10636},
year = {2023}
}
备注
Accepted by ACM Multimedia 2023