基于最优表示集成的人脸识别

近年来，基于线性表示的人脸识别器已展现出最先进的性能。然而，在实际应用中，人脸图像通常受到表情、伪装和随机遮挡的影响。这些有问题的面部部分破坏了线性子空间假设的有效性，从而导致识别性能显著下降。在本工作中，我们以学习-推理混合的方式解决该问题。通过观察到线性子空间假设在某些面部块上比在整体面部上更为可靠，我们随机生成并根据贝叶斯理论解释一些贝叶斯块表示（Bayesian Patch Representations, BPRs）。随后，我们通过最小化关于"留一法边际"的经验风险来训练一个基于块表示的集成模型。所获得的模型被称为最优表示集成（Optimal Representation Ensemble, ORE），因为它从经验风险最小化的角度保证了最优性。为了处理测试人脸中的未知模式，我们通过将非人脸类别纳入考虑，提出了一种鲁棒的BPR版本。配备鲁棒BPR后，ORE的推理能力大幅提升，并取得了多项破纪录的准确率（Yale-B上99.9%，AR上99.5%）和理想的效率（Matlab中每幅人脸低于20毫秒）。它在随机遮挡、极端表情和伪装的人脸上也优于其他模块化启发式方法。此外，为了适应大量的BPR集合，还推导了一种类提升算法。提升后的模型，即Boosted-ORE，获得了与其原型相似的性能。除了经验上的优越性外，所提方法的两个理想特性，即训练确定的模型选择和无需数据权重的提升过程，也在理论上得到了验证。