使用 QLoRA 探索大语言模型中的事实记忆与风格模仿：实验研究与质量评估方法
计算与语言
2024-06-14 v1
摘要
有多种方法可以将大语言模型适应到不同领域。最常见的方法包括提示工程、微调和RAG。在本工作中，我们探索了使用一种PEFT方法——QLoRA来适应模型的可能性。实验旨在模拟基于其访谈而生成的人类响应。通过比较风格质量和生成事实的质量来评估仿真质量。
引用
@article{arxiv.2406.08582,
title = {Exploring Fact Memorization and Style Imitation in LLMs Using QLoRA: An Experimental Study and Quality Assessment Methods},
author = {Eugene Vyborov and Oleksiy Osypenko and Serge Sotnyk},
journal= {arXiv preprint arXiv:2406.08582},
year = {2024}
}
备注
16 pages, 5 tables