增强自适应检索器作为通用插件提升语言模型泛化能力
计算与语言
2023-05-30 v1 机器学习
摘要
检索增强可通过提供外部信息来辅助语言模型（LMs）完成知识密集型任务。先前关于检索增强的工作通常联合微调检索器与 LM，使二者紧密耦合。本文中，我们探索通用检索插件方案：检索器用于辅助事先未知或无法联合微调的目标 LMs。为给未知目标 LMs 检索有用文档，我们提出增强自适应检索器（AAR），其学习从已知源 LM 获得的 LM 偏好。在 MMLU 和 PopQA 数据集上的实验表明，我们用小型源 LM 训练的 AAR 能够显著提升从 250M Flan-T5 到 175B InstructGPT 的更大型目标 LMs 的零样本泛化能力。进一步分析表明，不同 LMs 的偏好存在重叠，使得用单一源 LM 训练的 AAR 可作为各类目标 LMs 的通用插件。代码开源于 https://github.com/OpenMatch/Augmentation-Adapted-Retriever。
引用
@article{arxiv.2305.17331,
title = {Augmentation-Adapted Retriever Improves Generalization of Language Models as Generic Plug-In},
author = {Zichun Yu and Chenyan Xiong and Shi Yu and Zhiyuan Liu},
journal= {arXiv preprint arXiv:2305.17331},
year = {2023}
}
备注
Accepted to ACL 2023