统一且可解释的情感表示与表情生成

典型情感，如快乐、悲伤和恐惧等，容易理解和标注。然而，情感往往是复合的，例如“快乐的惊讶”，可以映射到用于表达情感的动作单元（AUs），并且可以平凡地映射到典型情感。直观地看，情感是连续的，作为 arousal-valence（AV）模型所表示。对这四种模态——即典型情感、复合情感、AUs 和 AV——的可解释统一，对于更好的情感表示和理解是高度理想的。然而，这种统一在当前文献中仍未知。本 work 提出一种可解释且统一的情感模型，称为 C2A2。我们还开发了一种方法，用于利用非统一模型的标签来注释新的统一模型。最后，我们修改文本条件扩散模型以理解连续数字，这些数字随后用于我们的统一情感模型生成连续表情。通过定量和定性实验，我们表明生成的图像丰富且捕捉到了细微的表情。我们的工作允许与其他文本输入联合，进行细粒度的表情生成，同时提供一种新的情感标签空间。