ReactFace：双人交互中的在线多重适当面部反应生成

在双人交互中，预测听者的面部反应具有挑战性，因为针对同一说话者的行为可能有多种不同的适当反应。以往方法主要将此任务视为插值或拟合问题，强调确定性结果而忽略了人类面部反应的多样性与不确定性。此外，这些方法往往未能对交互上下文中的短程与长程依赖关系进行建模，导致生成的面部反应在同步性与适当性上存在问题。为解决这些局限性，本文将该任务重新表述为外推或预测问题，并提出了一种新颖的框架（称为 ReactFace），用于从说话者行为生成多种不同但适当的面部反应，而非仅仅复制相应的听者面部行为。我们的 ReactFace 通过以下方式生成多种不同但适当的逼真人类面部反应： 学习一个代表多种不同但适当的面部反应的适当面部反应分布； 在每个时间戳将生成的面部反应与说话者的言语和非言语行为同步，从而产生逼真的二维面部反应序列。实验结果证明了我们的方法在根据每个说话者的行为生成多种多样、同步且适当的面部反应方面的有效性。通过我们新颖的说话者-听者交互模块，生成的面部反应的质量与说话者的言语和面部表情紧密相关。我们的代码已公开于 \url{https://github.com/lingjivoo/ReactFace}。