微调大语言模型中作为事实习得预测指标的潜在知识
计算与语言
2026-01-27 v1
摘要
大语言模型在预训练后以不均匀的强度存储生物医学事实：某些事实存在于权重中，但在确定性解码下无法可靠地访问（潜在知识），而另一些事实则极少被表征。我们对 Llama 3.1 8B Instruct 进行微调，以学习来自 Human Phenotype Ontology（800 对）和 Gene Ontology（400 个训练对）的本体术语标识符映射，并保留 400 个 GO 对以测试泛化能力。我们将学习视为跨越 20 个 epoch 的事件发生时间过程，使用随机解码来检测基线处的潜在知识，并使用 Cox 比例风险模型来识别习得、泛化和退化的预测因子。HPO 的基线确定性召回率为 2.8%，微调后升至 71.9%。潜在知识是更快事实习得的最强预测因子（HR 2.6），并且与更早、更高的峰值学习率和更快的收敛相关；标识符频率和精选注释数量的影响较小。向保留的 GO 事实的泛化并不常见（5.8%），但当存在潜在知识时更有可能发生。先前正确的 GO 映射在保留（未见）术语中比在训练（已见）术语中更常发生退化，这表明训练期间的强化具有保护效应。这些结果表明，潜在知识预测了微调期间事实学习的速度和未见本体事实的有限泛化能力，而对退化的抵抗力则取决于事实是否得到强化。
引用
@article{arxiv.2601.18468,
title = {Latent Knowledge as a Predictor of Fact Acquisition in Fine-Tuned Large Language Models},
author = {Daniel B. Hier and Tayo Obafemi-Ajayi},
journal= {arXiv preprint arXiv:2601.18468},
year = {2026}
}