大型生成模型时代的计算：从云原生到AI原生
分布式、并行与集群计算
2024-01-24 v1 机器学习
摘要
本文研究了大型生成式AI模型与云原生计算架构的交汇点。近期的大型模型（如ChatGPT）虽然能力具有革命性，但面临成本攀升和对高端GPU需求等挑战。通过将大型模型即服务（LMaaS）与云数据库即服务（DBaaS）进行类比，我们描述了一种AI原生计算范式，该范式同时利用云原生技术（例如多租户和无服务器计算）和先进的机器学习运行时（例如批量LoRA推理）。这些协同努力旨在优化销售成本（COGS）并提高资源可访问性。这两个领域的融合之旅才刚刚开始，我们希望激发该领域未来的研究和发展。
引用
@article{arxiv.2401.12230,
title = {Computing in the Era of Large Generative Models: From Cloud-Native to AI-Native},
author = {Yao Lu and Song Bian and Lequn Chen and Yongjun He and Yulong Hui and Matthew Lentz and Beibin Li and Fei Liu and Jialin Li and Qi Liu and Rui Liu and Xiaoxuan Liu and Lin Ma and Kexin Rong and Jianguo Wang and Yingjun Wu and Yongji Wu and Huanchen Zhang and Minjia Zhang and Qizhen Zhang and Tianyi Zhou and Danyang Zhuo},
journal= {arXiv preprint arXiv:2401.12230},
year = {2024}
}