扩展最小配对：基于序数惊讶曲线和熵的跨领域应用

最小配对范例通过比较对比完成的模型概率已被证明对评估语言模型的语言知识具有有用性，但其应用主要局限于对语法现象的二进制语法正确性判断。此外，标准的基于提示的评估需要高昂的文本生成，可能诱发事后合理化，而非模型判断，并且会丢弃关于模型不确定性的信息。我们通过将基于惊讶的评估从二进制语法正确性对比扩展到多个领域的序数尺度分类和评分任务来解决这两个限制。不要求模型生成答案，而是测量模型为评估尺度上的每个位置（例如1-5或1-9）分配的information-theoretic惊讶（负对数概率），从而产生完整的惊讶曲线，揭示模型的首选响应及其通过熵量化的不确定性。我们在四个领域探索这个框架：社会-生态-技术系统分类、因果陈述识别（二进制和比例）、隐喻语言检测和演绎定性编码。跨越这些领域，惊讶曲线产生可解释的分类信号，清晰的最小值接近预期的序数尺度位置，熵随完成情况趋于区分真正模糊的项目与较简单的项目。