大语言模型中的低秩知识蒸馏能否用于微电子推理？
机器学习
2024-06-28 v3
摘要
在这项工作中，我们展示了关于在电子设计自动化（EDA）背景下使用离线大语言模型（LLMs）可行性的实证结果。目标是调查和评估当代语言模型（Llama-2-7B）作为微电子问答专家的能力，以及其在解决微电子相关问题时的推理和生成能力。Llama-2-7B在各种适应方法上进行了测试，包括引入一种新颖的低秩知识蒸馏（LoRA-KD）方案。我们的实验产生了定性和定量结果。
引用
@article{arxiv.2406.13808,
title = {Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?},
author = {Nirjhor Rouf and Fin Amin and Paul D. Franzon},
journal= {arXiv preprint arXiv:2406.13808},
year = {2024}
}
备注
4 pages, 2 figures, 2 tables, The First IEEE International Workshop on LLM-Aided Design (LAD'24)