百美元预算下的主动领域知识获取：通过低成本专家交互增强敏感领域中的大语言模型
计算与语言
2025-09-01 v2
摘要
大语言模型（LLM）已展现出令人印象深刻的通用知识水平。然而，它们在药物发现和罕见病研究等高度专业且成本敏感的领域往往因缺乏专家知识而表现不佳。本文提出一种新颖框架（PU-ADKA），旨在通过在固定预算内主动参与领域专家，高效增强面向特定领域的LLM。与传统微调方法不同，PU-ADKA根据每位专家的可用性、知识边界和咨询成本，从专家团队中有选择地识别并查询最合适的专家。我们使用PubMed数据的模拟训练PU-ADKA，并通过受控专家交互与药物开发团队的真实部署进行验证，证明了其在严格预算约束下增强LLM在专业领域表现的有效性。除了概述我们的方法学创新与实验结果外，我们还引入了一个新的基准数据集CKAD，用于成本效益型LLM领域知识获取，以促进这一具有挑战性领域的进一步研究。
引用
@article{arxiv.2508.17202,
title = {Active Domain Knowledge Acquisition with 100-Dollar Budget: Enhancing LLMs via Cost-Efficient, Expert-Involved Interaction in Sensitive Domains},
author = {Yang Wu and Raha Moraffah and Rujing Yao and Jinhong Yu and Zhimin Tao and Xiaozhong Liu},
journal= {arXiv preprint arXiv:2508.17202},
year = {2025}
}
备注
EMNLP 2025 Findings