小型语言模型中的熵与注意力动力学：基于 TruthfulQA 数据集的 Trace 级别结构分析
人工智能
2026-04-07 v1
摘要
小型语言模型（SLMs）正在被部署到边缘设备和其他资源受限的设置中。然而，这些模型会对错误答案充满信心并产生不稳定的输出，这使得它们在事实和决策关键任务中风险较大。当前的评估方法依赖于最终准确率或幻觉率，而不解释内部模型行为如何影响输出。具体而言，解码期间熵的演化方式、注意力在各层中的分布方式，以及隐藏表示如何贡献于不确定性、逻辑不一致和误information 传播，往往被忽视。因此，本研究对 cs.AI 领域的小型语言模型在 TruthfulQA 数据集上的输出熵、注意力熵、头部分散度和隐藏状态表示进行了 trace 级别的分析。结果反映出三类模型的分类：确定性模型（DeepSeek-1.5B 和 LLaMA-1B）：输出熵随时间递减；探索性模型（Gemma-1B）：随着熵的增加；平衡模型（Qwen-1.7B）：具有适中且稳定的熵。此外，每组都具有独特的隐藏状态运动和注意力分散模式。该分析表明，SLMs 中的 truthfulness 源于结构化的熵和注意力动力学。监控和优化这些内部不确定性模式可指导更可靠、幻觉感知和针对特定应用的边缘 SLMs 的设计。
关键词
引用
@article{arxiv.2604.03589,
title = {Entropy and Attention Dynamics in Small Language Models: A Trace-Level Structural Analysis on the TruthfulQA Benchmark},
author = {Adeyemi Adeseye and Aisvarya Adeseye and Hannu Tenhunen and Jouni Isoaho},
journal= {arXiv preprint arXiv:2604.03589},
year = {2026}
}
备注
Accepted to Publish it in 12th Intelligent Systems Conference 2026, 3-4 September 2026 in Amsterdam, The Netherlands