速度即一切：通过 GPU 感知优化在设备端加速大型扩散模型
计算机视觉与模式识别
2023-06-19 v2 机器学习
图像与视频处理
摘要
基础模型的快速发展和应用已经彻底改变了人工智能领域。大型扩散模型因能够生成照片级真实感图像并支持多种任务而受到显著关注。这些模型的设备端部署带来了诸如降低服务器成本、离线功能以及改善用户隐私等好处。然而，常见的大型扩散模型拥有超过 10 亿参数，并由于设备上受限的计算和内存资源而带来挑战。我们提出了一系列针对大型扩散模型的实现优化，在配备 GPU 的移动设备上实现了迄今为止报道的最快推理延迟（在三星 S23 Ultra 上，对 512x512 图像进行 20 次迭代，Stable Diffusion 1.4 无 int8 量化的耗时低于 12 秒）。这些增强拓宽了生成式 AI 的适用性，并改善了跨广泛设备的整体用户体验。
引用
@article{arxiv.2304.11267,
title = {Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations},
author = {Yu-Hui Chen and Raman Sarokin and Juhyun Lee and Jiuqiang Tang and Chuo-Ling Chang and Andrei Kulik and Matthias Grundmann},
journal= {arXiv preprint arXiv:2304.11267},
year = {2023}
}
备注
4 pages (not including references), 2 figures, 2 tables. Accepted to Efficient Deep Learning for Computer Vision workshop 2023