结合熵与矩阵核范数以提升语言模型评估效果

随着大语言模型（LLM）的不断进步，对于精确且高效评估指标的需求日益迫切。传统方法虽然提供了有价值的信息，但往往在计算需求和可解释性方面存在局限。本文引入一种新型混合评估方法，集成了两项既有技术：从协方差矩阵中导出的熵以及矩阵核范数（Matrix Nuclear Norm, MNN）。该方法首先对 LLM 的隐藏状态进行归一化处理，然后从这些表示中计算协方差矩阵和 MNN。进一步计算协方差矩阵的熵，以捕捉模型输出中的不确定性和冗余性。通过将这些指标组合成综合得分，本文提供了一种在准确性与计算效率之间取得平衡的综合评估框架。此外，本方法允许灵活调整熵与 MNN 之间的权重，以满足不同目标的评估需求。通过在 various LLMs 上的一系列实验，证明了本方法的稳健性和有效性，为深入洞察模型性能提供了新视角。本工作推动了 LLM 评估的持续发展，为模型评估技术的未来创新开输了广阔道路。