ChipNeMo：面向芯片设计的领域自适应大语言模型
计算与语言
2024-04-08 v5
摘要
ChipNeMo 旨在探索大语言模型（LLMs）在工业芯片设计中的应用。我们并未直接部署现成的商业或开源 LLM，而是采用了如下领域自适应技术：领域自适应分词、领域自适应持续预训练、基于领域特定指令的模型对齐，以及领域自适应检索模型。我们在三项选定的芯片设计 LLM 应用上评估了这些方法：工程助手聊天机器人、EDA 脚本生成，以及缺陷摘要与分析。我们的评估表明，对语言模型进行领域自适应预训练，可在领域相关下游任务中取得优于其基础 LLaMA2 对应模型的性能，且不会损害通用能力。特别地，我们最大的模型 ChipNeMo-70B 在我们的两个用例（即工程助手聊天机器人与 EDA 脚本生成）上优于能力极强的 GPT-4，同时在缺陷摘要与分析上表现出有竞争力的性能。这些结果凸显了领域特定定制在提升大语言模型于专用应用中的有效性方面的潜力。
引用
@article{arxiv.2311.00176,
title = {ChipNeMo: Domain-Adapted LLMs for Chip Design},
author = {Mingjie Liu and Teodor-Dumitru Ene and Robert Kirby and Chris Cheng and Nathaniel Pinckney and Rongjian Liang and Jonah Alben and Himyanshu Anand and Sanmitra Banerjee and Ismet Bayraktaroglu and Bonita Bhaskaran and Bryan Catanzaro and Arjun Chaudhuri and Sharon Clay and Bill Dally and Laura Dang and Parikshit Deshpande and Siddhanth Dhodhi and Sameer Halepete and Eric Hill and Jiashang Hu and Sumit Jain and Ankit Jindal and Brucek Khailany and George Kokai and Kishor Kunal and Xiaowei Li and Charley Lind and Hao Liu and Stuart Oberman and Sujeet Omar and Ghasem Pasandi and Sreedhar Pratty and Jonathan Raiman and Ambar Sarkar and Zhengjiang Shao and Hanfei Sun and Pratik P Suthar and Varun Tej and Walker Turner and Kaizhe Xu and Haoxing Ren},
journal= {arXiv preprint arXiv:2311.00176},
year = {2024}
}
备注
Updated results for ChipNeMo-70B model