FaceChain-SuDe：构建派生类以继承类别属性实现单次主体驱动生成
计算机视觉与模式识别
2024-03-12 v1
摘要
主体驱动生成因其个性化文本到图像生成的能力而近期引起了极大关注。典型工作侧重于学习新主体的私有属性。然而，一个未被认真对待的重要事实是：主体并非孤立的新概念，而应是预训练模型中某个类别的特化。这导致主体无法全面继承其类别中的属性，从而导致与属性相关的生成效果不佳。在本文中，受面向对象编程的启发，我们将主体建模为派生类，其基类为其语义类别。这种建模使主体能够从其类别继承公共属性，同时从用户提供的示例中学习其私有属性。具体而言，我们提出了一种即插即用方法：主体派生正则化（Subject-Derived regularization, SuDe）。它通过约束主体驱动生成的图像在语义上属于主体的类别，从而构建基类 - 派生类建模。在三个基线和两个骨干网络上针对各种主体的广泛实验表明，我们的 SuDe 能够在保持主体忠实度的同时实现富有想象力的属性相关生成。代码即将在 FaceChain (https://github.com/modelscope/facechain) 开源。
引用
@article{arxiv.2403.06775,
title = {FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation},
author = {Pengchong Qiao and Lei Shang and Chang Liu and Baigui Sun and Xiangyang Ji and Jie Chen},
journal= {arXiv preprint arXiv:2403.06775},
year = {2024}
}
备注
accepted by CVPR2024