HyperLoRA：面向人像合成的参数高效自适应生成
计算机视觉与模式识别
2025-03-24 v1
摘要
个性化人像合成是社交娱乐等领域的重要需求，近期取得了显著进展。基于人物细化的方法，如 LoRA 和 DreamBooth，可生成逼真的图像，但需要针对个体样本进行训练，耗时耗力且存在不稳定风险。基于适配器的技术如 IP-Adapter 冻结基础模型参数，采用插拨式架构实现零样本推理，但常常表现出缺乏自然性和真实性，这在人像合成任务中不可忽视。本文我们引入一种参数高效的自适应生成方法，称为 HyperLoRA，该方法使用自适应插拨网络生成 LoRA 权重，融合 LoRA 优异性能与适配器方案的零样本能力。通过精心设计的网络结构与训练策略，我们实现了零样本个性化人像生成（支持单图或多图输入），在高逼真度、保真度与可编辑性方面表现优异。
引用
@article{arxiv.2503.16944,
title = {HyperLoRA: Parameter-Efficient Adaptive Generation for Portrait Synthesis},
author = {Mengtian Li and Jinshu Chen and Wanquan Feng and Bingchuan Li and Fei Dai and Songtao Zhao and Qian He},
journal= {arXiv preprint arXiv:2503.16944},
year = {2025}
}