Skywork UniPic：统一自回归建模用于视觉理解与生成
计算机视觉与模式识别
2025-08-06 v1
摘要
我们介绍 Skywork UniPic，一个拥有 15 亿参数的自回归模型，统一了图像理解、文本到图像生成和图像编辑功能——在单一架构中消除对任务特定适配器或模块间连接器的需求，并展示了紧凑型多模态系统能够在商品硬件上实现最先进的性能。Skywork UniPic 在 GenEval 上取得 0.86 的分数，超越了大多数现有统一模型；在 DPG-Bench 上设下 85.5 的复杂生成纪录；在 GEditBench-EN 上取得 5.83，在 ImgEdit-Bench 上取得 3.49，用于图像编辑；并能在不超过 15 GB GPU 内存（例如 RTX 4090）的情况下生成 1024 x 1024 的图像。（1）一种解耦的编码策略，利用掩码自回归编码器进行合成，利用 SigLIP2 编码器进行理解，所有输入都馈送到共享的自回归解码器；（2）一种渐进式、分辨率感知的训练计划，从 256 x 256 扩展到 1024 x 1024，同时动态解冻参数以平衡容量和稳定性；（3）经过精心挑选的 100 万规模数据集，增强了任务特定奖励模型以细化生成和编辑目标。通过表明高保真多模态集成不必产生高昂的资源需求，Skywork UniPic 确立了一种可部署且具高保真度的多模态 AI 范式。代码和模型权重可在 https://huggingface.co/Skywork/Skywork-UniPic-1.5B 获取。
引用
@article{arxiv.2508.03320,
title = {Skywork UniPic: Unified Autoregressive Modeling for Visual Understanding and Generation},
author = {Peiyu Wang and Yi Peng and Yimeng Gan and Liang Hu and Tianyidan Xie and Xiaokun Wang and Yichen Wei and Chuanxin Tang and Bo Zhu and Changshi Li and Hongyang Wei and Eric Li and Xuchen Song and Yang Liu and Yahui Zhou},
journal= {arXiv preprint arXiv:2508.03320},
year = {2025}
}