用于可控图像生成的条件感知神经网络
计算机视觉与模式识别
2024-04-02 v1 人工智能
摘要
我们提出了条件感知神经网络 (CAN)，一种向图像生成模型添加控制的新方法。与先前的条件控制方法并行，CAN 通过动态操纵神经网络的权重来控制图像生成过程。这是通过引入一个条件感知权重生成模块来实现的，该模块根据输入条件为卷积/线性层生成条件权重。我们在 ImageNet 上的类条件图像生成和 COCO 上的文本到图像生成上测试了 CAN。CAN 为扩散 Transformer 模型（包括 DiT 和 UViT）持续带来显著改进。特别是，CAN 与 EfficientViT 结合 (CaT) 在 ImageNet 512x512 上实现了 2.78 的 FID，超越了 DiT-XL/2，同时每采样步所需的 MACs 减少了 52 倍。
引用
@article{arxiv.2404.01143,
title = {Condition-Aware Neural Network for Controlled Image Generation},
author = {Han Cai and Muyang Li and Zhuoyang Zhang and Qinsheng Zhang and Ming-Yu Liu and Song Han},
journal= {arXiv preprint arXiv:2404.01143},
year = {2024}
}
备注
CVPR 2024