LoraMap：发掘 LoRA 连接的力量
计算与语言
2024-10-17 v2 人工智能
摘要
事实核查技术可以缓解大型语言模型（LLM）中的幻觉问题，这是专业领域中的一个突出问题。由于低秩适应（LoRA）等参数高效技术可以克服大量计算开销，一些研究探索了多个 LoRA 的集成。尽管前述研究侧重于并行集成，但本文研究了在多个 LoRA 之间建立连接的方法。我们创建了三个针对事实核查的推理数据集，微调单个 LoRA，使其能够查看和从不同视角进行推理。然后，我们探索了分配这些推理 LoRA 的策略，提出了 LoraMap 方法来映射它们之间的连接。事实核查任务的结果表明，LoraMap 的性能优于现有方法 LoraHub，而 LoraMap 在参数数目显著少于 LoraConcat 的情况下也能表现出色。LoraConcat 将 LoRA 拼接在一起并进一步微调。
引用
@article{arxiv.2408.16264,
title = {LoraMap: Harnessing the Power of LoRA Connections},
author = {Hyeryun Park and Jeongwon Kwak and Dongsuk Jang and Sumin Park and Jinwook Choi},
journal= {arXiv preprint arXiv:2408.16264},
year = {2024}
}
备注
17 pages, 12 figures, 7 tables