追踪可信度动态：重新审视大型语言模型的预训练阶段

确保大型语言模型（LLM）的可信度至关重要。大多数研究集中于完全预训练的LLM，以更好地理解和提升LLM的可信度。在本文中，为揭示预训练的未开发潜力，我们率先探索了LLM在预训练期间的可信度，重点关注五个关键维度：可靠性、隐私性、毒性、公平性和鲁棒性。首先，我们对LLM应用线性探测。高探测准确率表明，\textit{早期预训练阶段的LLM已经能够区分每个可信度维度中的概念}。因此，为进一步揭示预训练的隐藏可能性，我们从LLM的预训练检查点中提取引导向量以增强LLM的可信度。最后，受\citet{choi2023understanding}的启发（互信息估计受线性探测准确率限制），我们还使用互信息探测LLM，以研究预训练期间可信度的动态变化。我们首次观察到类似的两阶段现象：拟合与压缩\citep{shwartz2017opening}。本研究对LLM预训练期间的可信度建模进行了初步探索，旨在揭示新的见解并推动该领域的进一步发展。我们将公开代码，网址为\url{https://github.com/ChnQ/TracingLLM}。