面向微行为识别的原型校准歧义样本网络

微行为识别（Micro-Action Recognition, MAR）因其作为非语言交流中至关重要形式的作用，正在成为人类交流和情感分析应用的潜在热点。然而，现有方法常常忽视了微行为中固有的模糊性，这种模糊性源于类别范围广泛以及类别之间细微的视觉差异。这种疏忽会阻碍微行为识别的准确性。本文提出一种新颖的原型校准歧义网络（Prototypical Calibrating Ambiguous Network, PCAN），以释放并缓解MAR的歧义。首先，我们采用分层动作树来识别歧义样本，将其分为基于身体和动作级别类别的虚假负样本（false negative）和虚假正样本（false positive）的不同集合。其次，我们实现了一个歧义对比细化模块，通过调节歧义样本与其对应原型之间的距离来校准这些歧义样本。这种校准过程旨在将虚假负样本拉近到各自的原型，同时将虚假正样本推远离其关联的原型。此外，我们提出了一种新的原型多样性放大损失，以强化模型的容量，通过放大不同原型之间的差异来实现。最后，我们提出了一种基于原型的纠正机制，以纠正预测结果。大量实验表明，我们的方法在基准数据集上优于现有方法。代码已公开于 https://github.com/kunli-cs/PCAN。