基于层次最优输运方法的情感面部知识迁移用于视频欺骗检测

高质量大规模标注数据集的稀缺性构成了深度学习模型在视频欺骗检测中面临的巨大挑战。为此，我们受心理学中欺骗与表情关系理论的启发，提出了一种新颖的方法 AFFAKT，通过从大型面部表情数据集迁移有用且相关的知识来提升分类性能。在知识迁移过程中，主要涉及两个关键挑战：其一，应迁移多少面部表情数据知识；其二，在推断阶段如何有效地利用迁移后的知识来增强欺骗分类模型。具体而言，我们首先提出的 H-OTKT 模块用于量化面部表情类别与欺骗样本之间的 optimal 关系映射，然后将表情数据集中的知识迁移到欺骗样本上。此外，我们在另一提出的模块 SRKB 中设计了相关原型，以通过动量更新方式保留面部表情类别与欺骗类别之间的不变相关性。在推断阶段，采用样本特定的再加权策略对迁移后的知识进行微调。实验结果表明，在两个欺骗检测数据集上的实验显示，我们所提出的方法具有卓越的性能。解释性研究揭示，欺骗与负面情感表情之间存在高度关联，这与心理学理论相吻合。