CLAWS: 基于章节注意力窗口的LLM生成解答创意检测
计算与语言
2025-10-22 v1 人工智能
摘要
最近的进展在增强大语言模型(LLM)的推理能力取得了显著成效。通过强化学习训练的LLM在数学和编码等具有挑战性的任务中表现出色，甚至使用相对较小的模型规模。然而，尽管这些在任务准确性方面的改进显而易见，推理任务中LLM生成创意的评估仍被大大忽视，与写作任务相比尤其如此。对创意评估研究的缺乏主要源于两个挑战：(1) 定义创意范围的困难，(2) 评估过程中需要人工评估。在我们看来，我们提出了CLAWS方法，通过利用提示章节和输出中跨提示的注意力权重，定义并将数学解答分类为典型、创意和幻觉类别，而无需人工评估。CLAWS在五个7-8B数学RL模型(DeepSeek、Qwen、Mathstral、OpenMath2和Oreal)上优于五个现有的白盒检测方法(Perplexity、Logit Entropy、Window Entropy、Hidden Score和Attention Score)。我们在181场数学竞赛(包括AJHSME、AMC、AIME)收集的4545个数学问题上验证了CLAWS。
引用
@article{arxiv.2510.17921,
title = {CLAWS:Creativity detection for LLM-generated solutions using Attention Window of Sections},
author = {Keuntae Kim and Eunhye Jeong and Sehyeon Lee and Seohee Yoon and Yong Suk Choi},
journal= {arXiv preprint arXiv:2510.17921},
year = {2025}
}
备注
NeurIPS 2025