用于问答的测试时自自适应小语言模型
计算与语言
2023-10-23 v1 机器学习
摘要
近期经指令微调的大语言模型(LM)在问答(QA)等多种任务中取得了显著表现。然而，尽管它们能记忆跨多样任务的海量通用知识，但由于将知识迁移并适配到目标任务的能力有限，在特定任务上可能并非最优。此外，利用标注数据集进一步微调LM常因数据缺失而不可行，但仅用无标注测试数据能否迁移知识有限的小LM亦存疑。本工作中，我们展示并研究了仅借助无标注测试数据的小自自适应LM的能力。具体而言，我们首先随机生成多个答案，随后对其进行集成，同时过滤低质量样本以缓解不准确标签带来的噪声。我们提出的自适配策略在基准QA数据集上展现出显著的性能提升，并在多样提示下具有更高鲁棒性，使LM保持稳定。代码见：https://github.com/starsuzi/T-SAS。
引用
@article{arxiv.2310.13307,
title = {Test-Time Self-Adaptive Small Language Models for Question Answering},
author = {Soyeong Jeong and Jinheon Baek and Sukmin Cho and Sung Ju Hwang and Jong C. Park},
journal= {arXiv preprint arXiv:2310.13307},
year = {2023}
}
备注
EMNLP Findings 2023