激活作为特征：探索大语言模型用于通用作文评分表示的探测性研究
计算与语言
2025-12-23 v1 人工智能
摘要
自动作文评分（AES）在跨提示情境下面临评分标准多样性的挑战。虽然先前的研究聚焦于大语言模型（LLM）的输出以提高评分准确性，但我们认为来自中间层的激活值也可能提供有价值的信息。为探索这一可能性，我们评估了大语言模型激活在跨提示作文评分任务中的判别能力。具体而言，我们使用激活值来拟合探测器，并进一步分析不同模型和大语言模型输入内容对这种判别能力的影响。通过计算在不同提示下、在各种特征维度上作文的方向，我们分析了大语言模型关于作文类型和特征的评估视角的变化。结果表明，激活值在评估作文质量方面具有强大的判别能力，且大语言模型能够适应不同特征和作文类型的评估视角，有效处理跨提示情境中评分标准的多样性。
引用
@article{arxiv.2512.19456,
title = {Activations as Features: Probing LLMs for Generalizable Essay Scoring Representations},
author = {Jinwei Chi and Ke Wang and Yu Chen and Xuanye Lin and Qiang Xu},
journal= {arXiv preprint arXiv:2512.19456},
year = {2025}
}