PETALface：面向低分辨率人脸识别的参数高效迁移学习
计算机视觉与模式识别
2024-12-11 v1
摘要
在大规模数据集上预训练并利用基于边界的损失函数，在训练高分辨率人脸识别模型方面取得了高度成功。然而，这些模型在低分辨率人脸数据集上表现不佳，因为这些数据集中的人脸缺乏区分不同人脸所需的面部属性。对低分辨率数据集进行完整微调——一种适应模型的朴素方法——由于预训练知识的灾难性遗忘而导致性能不佳。此外，低分辨率数据集中高分辨率（HR）画廊图像与低分辨率（LR）探测图像之间的领域差异，导致单个模型在微调后难以同时适应画廊和探测。为此，我们提出了PETALface，一种面向低分辨率人脸识别的参数高效迁移学习方法。通过PETALface，我们尝试解决上述两个问题。（1）我们通过利用参数高效微调（PEFT）的能力解决了灾难性遗忘问题。（2）我们在主干网络中引入了两个低秩适配模块，其权重根据输入图像质量进行调整，以考虑画廊和探测图像之间的质量差异。据我们所知，PETALface是首个利用PEFT能力进行低分辨率人脸识别的相关工作。大量实验表明，所提出的方法在保留高分辨率和混合质量数据集性能的同时，超越了低分辨率数据集上的完整微调，且仅使用0.48%的参数。代码：https://kartik-3004.github.io/PETALface/
引用
@article{arxiv.2412.07771,
title = {PETALface: Parameter Efficient Transfer Learning for Low-resolution Face Recognition},
author = {Kartik Narayan and Nithin Gopalakrishnan Nair and Jennifer Xu and Rama Chellappa and Vishal M. Patel},
journal= {arXiv preprint arXiv:2412.07771},
year = {2024}
}
备注
Accepted to WACV 2025. Project Page: https://kartik-3004.github.io/PETALface/