HPC-GPT：面向高性能计算的大语言模型集成
分布式、并行与集群计算
2023-11-23 v1 人工智能
计算与语言
摘要
大语言模型（LLMs），包括LLaMA模型，已在各种通用领域自然语言处理（NLP）任务中展现出效能。然而，由于解读模型响应需要专门知识，它们在高性能计算（HPC）领域任务上的表现尚不尽理想。为应对此挑战，我们提出HPC-GPT，一种基于LLaMA的新型模型，使用为HPC领域生成的问答（QA）实例进行了有监督微调。为评估其有效性，我们聚焦于两项HPC任务：管理HPC的AI模型与数据集，以及数据竞争检测。通过采用HPC-GPT，我们在两项任务上均展示出与现有方法相当的性能，体现了其在HPC相关场景中的优越性。我们在开源基准上的实验产生了广泛结果，凸显了HPC-GPT弥合LLMs与HPC特定任务间性能差距的潜力。借助HPC-GPT，我们旨在为LLMs在HPC领域脱颖而出铺平道路，简化语言模型在复杂计算应用中的使用。
引用
@article{arxiv.2311.12833,
title = {HPC-GPT: Integrating Large Language Model for High-Performance Computing},
author = {Xianzhong Ding and Le Chen and Murali Emani and Chunhua Liao and Pei-Hung Lin and Tristan Vanderbruggen and Zhen Xie and Alberto E. Cerpa and Wan Du},
journal= {arXiv preprint arXiv:2311.12833},
year = {2023}
}
备注
9 pages