自底向上的领域特定超级智能：我们需要可靠的知识图谱
计算与语言
2025-09-03 v2 人工智能
摘要
传统上用于跨领域泛化的语言模型最近展示了特定任务的推理能力。然而，它们在通用语料库上的自顶向下训练方法不足以获取深度领域专业知识所需的抽象能力。这可能需要一种自底向上的方法，通过学习将简单的领域概念组合成更复杂的概念来获取专业知识。知识图谱 (KG) 提供了这种组合结构，其中领域基元被表示为头-关系-尾边，其路径编码了更高层次的概念。我们提出了一个任务生成流水线，直接从 KG 基元合成任务，使模型能够获取并组合它们以进行推理。我们在生成的 KG 基础课程上微调语言模型，以展示领域特定超级智能。虽然具有广泛适用性，但我们在存在可靠 KG 的医学领域验证了我们的方法。使用医学 KG，我们整理了 24,000 个推理任务，并配以源自各种医学基元的思维轨迹。我们在此课程上微调 QwQ-32B 模型，获得了向医学超级智能迈进一步的 QwQ-Med-3。我们还引入了 ICD-Bench，这是一个用于量化 15 个医学领域推理能力的评估套件。我们的实验表明，QwQ-Med-3 在 ICD-Bench 各类别上显著优于 SOTA 推理模型。进一步分析表明，QwQ-Med-3 利用获取的基元，在 ICD-Bench 最难的任务上拉大了性能差距。最后，在医学问答基准上的评估表明，QwQ-Med-3 能够迁移所获取的专业知识以增强基础模型的性能。虽然业界实现通用人工智能 (AGI) 的方法强调广泛的专业知识，但我们设想未来 AGI 将从高效的领域特定超级智能代理的可组合交互中涌现。
引用
@article{arxiv.2507.13966,
title = {Bottom-up Domain-specific Superintelligence: A Reliable Knowledge Graph is What We Need},
author = {Bhishma Dedhia and Yuval Kansal and Niraj K. Jha},
journal= {arXiv preprint arXiv:2507.13966},
year = {2025}
}