E-React：迈向情感可控的人类反应合成
计算机视觉与模式识别
2025-08-11 v1
摘要
情感是人类日常交互的重要组成部分。现有的人类动作生成框架未考虑情感的影响，这降低了生成动作的自然度，并限制了其在人类反应合成等交互任务中的应用。本文引入了一项新任务：根据不同的情感线索生成多样化的反应动作。然而，从有限的动作数据中学习情感表示并将其融入动作生成框架仍是一个具有挑战性的问题。为解决上述障碍，我们在 actor-reactor 扩散模型中引入了半监督情感先验，以促进情感驱动的反应合成。具体而言，基于短序列内的动作片段往往具有相同情感的观察，我们首先设计了一个半监督学习框架来训练情感先验。利用该先验，我们进一步训练 actor-reactor 扩散模型，通过同时考虑空间交互和情感响应来生成反应。最终，给定 actor 的动作序列，我们的方法能够在各种情感条件下生成逼真的反应。实验结果表明，我们的模型优于现有的反应生成方法。代码和数据将公开发布于 https://ereact.github.io/
引用
@article{arxiv.2508.06093,
title = {E-React: Towards Emotionally Controlled Synthesis of Human Reactions},
author = {Chen Zhu and Buzhen Huang and Zijing Wu and Binghui Zuo and Yangang Wang},
journal= {arXiv preprint arXiv:2508.06093},
year = {2025}
}