Faceptor：面向人脸感知的通用模型
计算机视觉与模式识别
2024-03-15 v1
摘要
随着对各种人脸分析任务的深入研究，研究者们对开发统一的人脸感知方法越来越感兴趣。现有方法主要讨论统一的表征和训练，缺乏任务的可扩展性和应用效率。为此，我们聚焦于统一的模型结构，探索人脸通用模型。作为一种直观的设计，Naive Faceptor使具有相同输出形状和粒度的任务能够共享标准化输出头的结构设计，从而实现更好的任务可扩展性。此外，提出的Faceptor采用精心设计的单编码器双解码器结构，允许任务特定的查询代表新出现的语义。该设计在提高模型结构统一性的同时，也提高了应用效率，如存储开销。此外，我们引入Layer-Attention到Faceptor中，使模型能够适应性地选择最优层的特征来完成所需任务。通过在13个人脸感知数据集上联合训练，Faceptor在人脸关键点定位、人脸分割、年龄估计、表情识别、二元属性分类和人脸识别方面实现了出色的性能，在大多数任务上达到或超越了专用方法。我们的训练框架还可应用于辅助监督学习，显著提高数据稀疏任务（如年龄估计和表情识别）的性能。代码和模型将在 https://github.com/lxq1000/Faceptor 上公开。
引用
@article{arxiv.2403.09500,
title = {Faceptor: A Generalist Model for Face Perception},
author = {Lixiong Qin and Mei Wang and Xuannan Liu and Yuhang Zhang and Wei Deng and Xiaoshuai Song and Weiran Xu and Weihong Deng},
journal= {arXiv preprint arXiv:2403.09500},
year = {2024}
}