面向人类识别的质量导引式得分融合专家混合框架

全身生物识别是一种具有挑战性的多模态任务，集成了人脸、步态和身体等 various biometric 模态。这种集成对于克服单模态系统的局限性至关重要。传统的全身识别方法涉及部署不同的模型来处理多个模态，通过得分融合（例如加权平均各模型相似度矩阵）来获得最终结果。然而，这些传统方法可能忽略 individual 模态得分分布的差异，导致难以提升最终性能。在本工作中，我们提出了质量导引式混合得分融合专家（QME）框架，这是一种新型设计，旨在通过基于专家混合的可学习得分融合策略来提高全身生物识别性能。我们引入一种用于质量估计的模态特定质量估计器（QE）的新颖伪质量损失，以及用于提升度量性能的得分三元组损失。对多个全身生物识别数据集进行的大量实验表明，我们提出的方法有效，实现了在各种指标上相较于基线方法的状态最优结果。该方法有效处理了多模态和多模型问题，解决了模型在相似度得分领域错位以及数据质量可变性等关键挑战。