用于人脸解析的带循环自调节的解耦多任务学习
计算机视觉与模式识别
2022-03-29 v1
摘要
本文探究了现有人脸解析最优方法所产生的典型失败案例（如空间不一致和边界混淆）背后的内在因素。为解决这些问题，我们提出了一种新颖的带循环自调节的解耦多任务学习(DML-CSR)用于人脸解析。具体而言，DML-CSR设计了一个包含人脸解析、二值边缘和类别边缘检测的多任务模型。这些任务仅共享低层编码器权重，彼此间无高层交互，从而能够在推理阶段将辅助模块从整个网络中解耦。为解决空间不一致问题，我们开发了动态双图卷积网络以捕获全局上下文信息，而无需使用任何额外池化操作。为处理单人与多人脸场景中的边界混淆，我们利用二值和类别边缘检测联合获取人脸的通用几何结构与细粒度语义线索。此外，为防止训练过程中噪声标签降低模型泛化能力，提出了循环自调节，通过自集成多个模型实例得到新模型，并将所得模型用于自蒸馏后续模型，交替迭代。实验表明，我们的方法在Helen、CelebAMask-HQ和Lapa数据集上取得了新的最优性能。源代码见 https://github.com/deepinsight/insightface/tree/master/parsing/dml_csr。
引用
@article{arxiv.2203.14448,
title = {Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing},
author = {Qingping Zheng and Jiankang Deng and Zheng Zhu and Ying Li and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2203.14448},
year = {2022}
}