LoRA-LiteE：一种用于聊天机器人偏好调优的计算高效框架
计算与语言
2025-01-09 v2
摘要
有效的偏好调优对于使聊天机器人的回复与人类期望对齐、提升用户满意度和参与度至关重要。传统方法，特别是GPT-4等先进模型所采用的基于人类反馈的强化学习（RLHF），在该领域已取得显著成效。然而，RLHF方法通常计算密集且资源需求大，限制了其在更广泛应用中的可扩展性和可及性。为应对这些挑战，本研究提出了LoRA-Lite集成（LoRA-LiteE），一种结合监督微调（SFT）、低秩适应（LoRA）和集成学习技术的创新框架，旨在有效聚合轻量级模型的预测，在性能与计算成本之间取得平衡。利用Chatbot Arena基准数据集，我们对LoRA-LiteE模型、不同规模的相应基础模型以及采用RLHF训练的GPT-4进行了全面的比较分析。实证结果表明，所提出的LoRA-LiteE模型达到与未微调GPT-4相当的性能，并在有限资源约束下优于单一大规模模型。这些发现表明，LoRA-LiteE为聊天机器人系统中的人类偏好预测提供了一种可行且高效的方法，增强了可扩展性和可及性，从而拓宽了偏好调优聊天机器人在资源受限环境中的适用性。
引用
@article{arxiv.2411.09947,
title = {LoRA-LiteE: A Computationally Efficient Framework for Chatbot Preference-Tuning},
author = {Yahe Yang and Chunliang Tao and Xiaojing Fan},
journal= {arXiv preprint arXiv:2411.09947},
year = {2025}
}