一种减少大语言模型位置偏差的位置感知参数高效微调方法
计算与语言
2024-04-03 v1 人工智能
机器学习
摘要
大语言模型（LLM）的最新进展增强了它们处理长输入上下文的能力。这一发展对于涉及从外部数据存储中检索知识的任务尤其重要，这可能导致长输入。然而，最近的研究显示LLM存在位置偏差，表现为根据输入序列中有用信息的位置不同而性能各异。在本研究中，我们进行了大量实验来调查位置偏差的根本原因。我们的发现表明，LLM位置偏差的主要贡献者来自不同模型固有的位置偏好。我们证明，仅仅使用基于提示的方法不足以克服位置偏好。为了解决预训练LLM的位置偏差问题，我们开发了一种位置感知参数高效微调（PAPEFT）方法，该方法由数据增强技术和参数高效适配器组成，增强了输入上下文上的均匀注意力分布。我们的实验表明，所提出的方法有效减少了位置偏差，提高了LLM在处理需要外部检索知识的各种任务的长上下文序列时的有效性。
引用
@article{arxiv.2404.01430,
title = {Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs},
author = {Zheng Zhang and Fan Yang and Ziyan Jiang and Zheng Chen and Zhengyang Zhao and Chengyuan Ma and Liang Zhao and Yang Liu},
journal= {arXiv preprint arXiv:2404.01430},
year = {2024}
}