面向稀疏人类监督下语言模型高性价比自适应的交互式多保真学习
计算与语言
2023-11-01 v1 人工智能
摘要
大语言模型（LLMs）已在各种任务中展现出卓越能力。然而，由于部署时规模巨大、易受错误信息影响，更重要的是数据标注成本高昂，它们在领域特定任务中的适用性受到限制。我们提出了一种新颖的交互式多保真学习（IMFL）框架，用于在有限标注预算下高性价比地开发小型领域特定 LM。我们的方法将领域特定微调过程表述为多保真学习问题，侧重于识别最优获取策略，以在低保真自动 LLM 标注与高保真人类标注之间取得平衡，从而最大化模型性能。我们进一步提出了一种探索-利用查询策略，增强了标注的多样性与信息量，包含两项创新设计：1）提示检索，从人类标注样本中选取上下文示例以改进 LLM 标注；2）可变批大小，控制选取各保真度的顺序以促进知识蒸馏，最终提升标注质量。在金融与医疗任务上的大量实验表明，IMFL 相比单保真标注取得了更优性能。给定有限的人类标注预算，IMFL 在所有四项任务中显著优于人类标注基线，并在其中两项任务上达到与人类标注非常接近的性能。这些有前景的结果表明，领域特定任务中的高人类标注成本可通过采用 IMFL 显著降低，该方法利用更少的人类标注，并辅以更廉价快速的 LLM（如 GPT-3.5）标注来实现可比性能。
引用
@article{arxiv.2310.20153,
title = {Interactive Multi-fidelity Learning for Cost-effective Adaptation of Language Model with Sparse Human Supervision},
author = {Jiaxin Zhang and Zhuohang Li and Kamalika Das and Sricharan Kumar},
journal= {arXiv preprint arXiv:2310.20153},
year = {2023}
}
备注
This work has been accepted by NeurIPS 2023