基于可逆图神经网络的反应分布学习用于生成多种恰当面部反应
计算机视觉与模式识别
2023-11-17 v3
摘要
在人人二元交互中生成面部反应十分复杂，且高度依赖于语境，因为对说话者行为而言，不止一种面部反应可能是恰当的。这给现有机器学习（ML）方法带来了挑战，其训练策略强制模型从每个输入的说话者行为中复现一个特定的（而非多个）面部反应。本文提出了首个多种恰当面部反应生成框架，将一对多映射的面部反应生成问题重新表述为一对一映射问题。这意味着我们通过考虑生成听者恰当面部反应的分布而非多个不同的恰当面部反应来着手该问题，即在训练期间将“多个”恰当面部反应标签总结为“一个”分布标签。我们的模型由感知处理器、认知处理器和运动处理器组成。运动处理器由一种新颖的可逆多维边图神经网络（REGNN）实现。这使我们能够在训练过程中获得恰当真实面部反应的分布，从而使认知处理器能够被训练以预测恰当的面部反应分布。在推理阶段，REGNN 使用该分布作为输入解码出一个恰当的面部反应。实验结果表明，我们的方法在生成更恰当、真实和同步的面部反应方面优于现有模型。性能的提升很大程度上归功于所提出的恰当面部反应分布学习策略以及 REGNN 的使用。代码可在 https://github.com/TongXu-05/REGNN-Multiple-Appropriate-Facial-Reaction-Generation 获取。
引用
@article{arxiv.2305.15270,
title = {Reversible Graph Neural Network-based Reaction Distribution Learning for Multiple Appropriate Facial Reactions Generation},
author = {Tong Xu and Micol Spitale and Hao Tang and Lu Liu and Hatice Gunes and Siyang Song},
journal= {arXiv preprint arXiv:2305.15270},
year = {2023}
}