高性能计算研究与LLM的发展图景与挑战
机器学习
2024-02-08 v3
摘要
近年来，语言模型 (LMs)，尤其是大语言模型 (LLMs)，彻底改变了深度学习领域。编码器-解码器模型和基于提示的技术在自然语言处理和基于代码的任务中展现出了巨大的潜力。在过去几年中，许多研究实验室和机构在高性能计算方面投入巨资，接近或突破了百亿亿次级的性能水平。在本文中，我们主张将此类基于语言模型的技术适配并应用于高性能计算 (HPC) 任务将是非常有益的。本研究阐述了上述主张背后的推理，并强调了如何改进和适配现有想法以用于 HPC 任务。
引用
@article{arxiv.2402.02018,
title = {The Landscape and Challenges of HPC Research and LLMs},
author = {Le Chen and Nesreen K. Ahmed and Akash Dutta and Arijit Bhattacharjee and Sixing Yu and Quazi Ishtiaque Mahmud and Waqwoya Abebe and Hung Phan and Aishwarya Sarkar and Branden Butler and Niranjan Hasabnis and Gal Oren and Vy A. Vo and Juan Pablo Munoz and Theodore L. Willke and Tim Mattson and Ali Jannesari},
journal= {arXiv preprint arXiv:2402.02018},
year = {2024}
}