UltraMedical：构建生物医学领域的专业化通才
计算与语言
2024-10-30 v2
摘要
大型语言模型(LLMs)已在各个领域展现出卓越的能力，并正朝着更专业化的方向发展。最近先进的专有模型，如GPT-4和Gemini，在生物医学领域取得了显著进展，但也带来了隐私和安全挑战。专业化通才的构建在很大程度上依赖于高质量数据集，并通过监督微调、从人类或AI反馈中强化学习以及直接偏好优化等技术得到增强。然而，由于专业数据的稀缺，这些领先技术（例如偏好学习）在开源社区中仍然受到显著限制。在本文中，我们介绍了UltraMedical数据集，该数据集包含生物医学领域的高质量人工和合成数据集，并具有跨多个先进LLM的偏好标注。通过利用这些数据集，我们基于Llama-3系列微调了一套专业化的医学模型，在多个医学基准测试中展现出惊人的能力。此外，我们开发了在生物医学和通用奖励基准测试中表现出色的强大奖励模型，以增强生物医学LLM社区中的进一步在线偏好学习。数据集和模型可在 https://github.com/TsinghuaC3I/UltraMedical 获取。
引用
@article{arxiv.2406.03949,
title = {UltraMedical: Building Specialized Generalists in Biomedicine},
author = {Kaiyan Zhang and Sihang Zeng and Ermo Hua and Ning Ding and Zhang-Ren Chen and Zhiyuan Ma and Haoxin Li and Ganqu Cui and Biqing Qi and Xuekai Zhu and Xingtai Lv and Hu Jinfang and Zhiyuan Liu and Bowen Zhou},
journal= {arXiv preprint arXiv:2406.03949},
year = {2024}
}
备注
Camera ready version for NeurIPS 2024 D&B Track