利用大语言模型中的偏见：“bias-kNN”实现高效少样本学习
计算与语言
2024-01-19 v1
摘要
大语言模型（LLMs）在各种应用中显示出巨大潜力，包括零样本和少样本学习。然而，其性能可能受到固有偏见的阻碍。本研究不采用传统上旨在最小化或纠正这些偏见的方法，而是引入了一种名为“bias-kNN”的新方法。该方法利用有偏输出，将其作为kNN的主要特征，并用真实标签进行补充。我们在不同领域的文本分类数据集和不同GPT-2模型规模上进行的全面评估表明，“bias-kNN”方法具有适应性和有效性。值得注意的是，该方法不仅在少样本场景中优于传统的上下文学习，而且在各种样本、模板和语言化器上也表现出鲁棒性。因此，本研究提供了一种利用偏见的独特视角，将其转化为提升模型性能的资产。
引用
@article{arxiv.2401.09783,
title = {Leveraging Biases in Large Language Models: "bias-kNN'' for Effective Few-Shot Learning},
author = {Yong Zhang and Hanzhang Li and Zhitao Li and Ning Cheng and Ming Li and Jing Xiao and Jianzong Wang},
journal= {arXiv preprint arXiv:2401.09783},
year = {2024}
}
备注
Accepted by the 49th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2024)