UniBioTransfer:多生物特征传输的统一框架
计算机视觉与模式识别
2026-03-23 v1
摘要
深度人脸生成传统上遵循 task-driven 范式,即针对不同任务(如人脸传输和发型传输)使用 task-specific 模型。这一 single-task 设置严重限制了模型的泛化性和可扩展性。单次传递即可解决多个 deepface 生成任务的统一模型代表了一个有希望且实用的方向,但由于数据稀缺和源于异构属性转换的 cross-task 冲突,仍具挑战性。为此,我们提出 UniBioTransfer,首个能够处理常规 deepface 任务(如人脸传输和人脸再生)以及 shape 可变转换(如发型传输和头部传输)的统一框架。此外,UniBioTransfer 自然能推广到未见任务,如 lip、eye 和眼镜传输,仅需最小微调。总体而言,UniBioTransfer 通过统一的数据构建策略解决了多任务生成中的数据不足问题,包括针对 spatially 动态属性(如发型)设计的 swapping-based 损坏机制。它进一步通过创新的 BioMoE—a 基于 mixture-of-experts 的模型搭配新颖的 two-stage 训练策略来缓解 cross-task 干扰,有效解耦 task-specific 知识。广泛的实验表明,UniBioTransfer 在广泛的 deepface 生成任务中表现出色,超过了现有的统一模型和 task-specific 方法。项目页面位于 https://scy639.github.io/UniBioTransfer.github.io/。
引用
@article{arxiv.2603.19637,
title = {UniBioTransfer: A Unified Framework for Multiple Biometrics Transfer},
author = {Caiyi Sun and Yujing Sun and Xiangyu Li and Yuhang Zheng and Yiming Ren and Jiamin Wang and Yuexin Ma and Siu-Ming Yiu},
journal= {arXiv preprint arXiv:2603.19637},
year = {2026}
}