KnowLA：通过知识增强适应提升参数高效微调
计算与语言
2024-03-25 v1 机器学习
摘要
参数高效微调（PEFT）是使大型语言模型（LLM）适应下游任务的关键技术。在本文中，我们研究利用知识图谱嵌入来提高PEFT的有效性。我们提出了一种称为KnowLA的知识增强适应方法。它在LLM中插入一个适应层，以整合出现在输入文本中的实体的嵌入。该适应层与LoRA一起在指令数据上进行联合训练。在六个基准数据集上使用两种流行的LLM和三个知识图谱进行的实验证明了KnowLA的有效性和鲁棒性。我们表明，KnowLA可以帮助激活LLM中相关的参数化知识来回答问题，而无需改变其参数或输入提示。
引用
@article{arxiv.2403.14950,
title = {KnowLA: Enhancing Parameter-efficient Finetuning with Knowledgeable Adaptation},
author = {Xindi Luo and Zequn Sun and Jing Zhao and Zhe Zhao and Wei Hu},
journal= {arXiv preprint arXiv:2403.14950},
year = {2024}
}
备注
Accepted in the 2024 Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2024)