与人类偏好对齐的面部表情生成以实现自然二元交互
计算机视觉与模式识别
2026-03-10 v1
摘要
实现自然的二元交互需要生成在情感上恰当且在社会性上与人类偏好一致的面部表情。人类反馈提供了一种引导这种对齐的引人注目的机制，然而如何有效地将这种反馈融入面部表情生成仍未得到充分探索。在本文中，我们提出了一种与人类偏好对齐的面部表情生成方法，通过利用人类反馈来生成上下文和情感上恰当的表情，以实现自然的二元交互。我们方法的关键在于将独立于身份的面部表情生成框架为一个动作学习过程，允许人类反馈评估其有效性，而不受视觉或身份偏见的影响。我们建立了一个闭环反馈回路，其中听者的表情动态地响应说话者不断变化的对话线索。具体地，我们通过监督微调训练一个视觉-语言-动作模型，将说话者的多模态信号映射为3D可变形模型的可控低维表情表示。我们进一步引入了一种人类反馈强化学习策略，该策略将高质量表情响应的模仿与评论家引导的优化相结合。在两个基准上的实验表明，我们的方法有效地将面部表情与人类偏好对齐，并实现了优越的性能。
引用
@article{arxiv.2603.07093,
title = {Facial Expression Generation Aligned with Human Preference for Natural Dyadic Interaction},
author = {Xu Chen and Rui Gao and Xinjie Zhang and Haoyu Zhang and Che Sun and Zhi Gao and Yuwei Wu and Yunde Jia},
journal= {arXiv preprint arXiv:2603.07093},
year = {2026}
}