RIRO：重塑输入，精炼输出——激发数据稀缺环境中大语言模型潜能
计算与语言
2024-12-23 v1
摘要
大语言模型（LLM）在自然语言处理领域取得了显著进展，在文本生成、摘要和问答等方面表现突出。尽管如此，这些模型在针对小型特定数据集进行微调时仍面临挑战，往往难以泛化并在陌生输入上提供准确结果。为解决这一问题，我们引入RIRO，一种新型两层架构，用于改善数据稀缺环境中的性能。第一层利用高级提示工程重新构筑输入，确保其更好地与训练数据对齐；第二层专注于精炼输出，以最小化不一致性。通过对Phi-2、Falcon 7B和Falcon 1B等模型进行微调，Phi-2的性能尤为突出。此外，我们引入一个基准测试，使用余弦相似度、Levenshtein距离、BLEU得分、ROUGE-1、ROUGE-2和ROUGE-L等评估指标。尽管这些进展改善了性能，但计算需求和过拟合等挑战仍然存在，限制了LLM在数据稀缺且高风险环境中（如医疗保健、法律文件和软件测试）的潜能。
引用
@article{arxiv.2412.15254,
title = {RIRO: Reshaping Inputs, Refining Outputs Unlocking the Potential of Large Language Models in Data-Scarce Contexts},
author = {Ali Hamdi and Hozaifa Kassab and Mohamed Bahaa and Marwa Mohamed},
journal= {arXiv preprint arXiv:2412.15254},
year = {2024}
}