从视听行为中学习人物特异性认知过程的图表示以用于自动人格识别

该方法建立在认知科学中的以下两项发现之上：(i) 人类认知部分决定了所表达的行为，并与真实人格特质直接关联；以及 (ii) 在二元互动中，个体的非语言行为受其对话伙伴行为的影响。在此背景下，我们假设在二元互动期间，目标对象的面部反应由两个主要因素驱动，即其内部（人物特异性）认知过程，以及其对话伙伴外化的非语言行为。因此，我们提出以人物特异性 CNN 架构的形式来表示目标对象（定义为倾听者）的人物特异性认知，该架构具有独特的架构参数和深度，将以对话伙伴（定义为说话者）所展示的视听非语言线索作为输入，并能够复现目标对象的面部反应。每个特异性 CNN 通过神经架构搜索（NAS）和一种新颖的自适应损失函数进行探索，随后被表示为一种图表示，用于识别目标对象的真实人格。实验结果不仅表明所生成的图表示在人人交互和人机交互场景中均与目标对象的人格特质高度相关，并以显著优势优于现有方法，而且还表明所提出的新策略（如自适应损失以及端到端顶点/边特征学习）有助于该方法学习更可靠的人格表示。