资源高效的大型语言模型与多模态基础模型综述
机器学习
2024-09-24 v2 人工智能
分布式、并行与集群计算
摘要
大型基础模型，包括大型语言模型（LLM）、视觉Transformer（ViT）、扩散模型以及基于LLM的多模态模型，正在彻底改变从训练到部署的整个机器学习生命周期。然而，这些模型在通用性和性能方面取得的巨大进步，是以硬件资源的巨大成本为代价的。为了以可扩展且环境可持续的方式支持这些大型模型的发展，人们对开发资源高效策略给予了相当大的关注。本综述深入探讨了此类研究的关键重要性，审视了算法和系统两个方面。它提供了对现有文献的全面分析和宝贵见解，涵盖了从前沿模型架构和训练/服务算法到实际系统设计与实现的广泛主题。本综述的目标是提供一个总体理解，即当前方法如何应对大型基础模型带来的资源挑战，并可能激发该领域的未来突破。
引用
@article{arxiv.2401.08092,
title = {A Survey of Resource-efficient LLM and Multimodal Foundation Models},
author = {Mengwei Xu and Wangsong Yin and Dongqi Cai and Rongjie Yi and Daliang Xu and Qipeng Wang and Bingyang Wu and Yihao Zhao and Chen Yang and Shihe Wang and Qiyang Zhang and Zhenyan Lu and Li Zhang and Shangguang Wang and Yuanchun Li and Yunxin Liu and Xin Jin and Xuanzhe Liu},
journal= {arXiv preprint arXiv:2401.08092},
year = {2024}
}