HyperDreamBooth：用于文本到图像模型快速个性化的超网络

Nataniel Ruiz; Yuanzhen Li; Varun Jampani; Wei Wei; Tingbo Hou; Yael Pritch; Neal Wadhwa; Michael Rubinstein; Kfir Aberman

HyperDreamBooth：用于文本到图像模型快速个性化的超网络

计算机视觉与模式识别 2024-10-18 v2 人工智能图形学机器学习

作者: Nataniel Ruiz , Yuanzhen Li , Varun Jampani , Wei Wei , Tingbo Hou , Yael Pritch , Neal Wadhwa , Michael Rubinstein , Kfir Aberman

在 arXiv 上查看 ↗ PDF ↗

摘要

个性化已成为生成式AI领域的重要方向，能够在保留个体身份高保真度的同时，以多样语境与风格合成人物。然而，个性化过程在时间与内存需求方面存在固有挑战。微调每个个性化模型需要可观的GPU时间投入，且按主体存储个性化模型对存储容量要求很高。为克服这些挑战，我们提出HyperDreamBooth——一种能够从单张人物图像高效生成一小组个性化权重的超网络。将这些权重组合进扩散模型，并配合快速微调，HyperDreamBooth可在多种语境与风格下生成人脸，兼具高主体细节并保留模型对多样风格与语义修改的关键知识。我们的方法在约20秒内完成人脸个性化，比DreamBooth快25倍、比Textual Inversion快125倍，仅需少至一张参考图像，且质量与风格多样性同DreamBooth相当。同时，我们的方法所得模型比常规DreamBooth模型小10,000倍。项目主页：https://hyperdreambooth.github.io

关键词

文本到图像模型个性化超网络 DreamBooth 扩散模型快速微调主体身份

引用

@article{arxiv.2307.06949,
  title  = {HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models},
  author = {Nataniel Ruiz and Yuanzhen Li and Varun Jampani and Wei Wei and Tingbo Hou and Yael Pritch and Neal Wadhwa and Michael Rubinstein and Kfir Aberman},
  journal= {arXiv preprint arXiv:2307.06949},
  year   = {2024}
}

备注

project page: https://hyperdreambooth.github.io

HyperDreamBooth：用于文本到图像模型快速个性化的超网络

摘要

关键词

引用

备注

相关论文