诊断 LLM Judge 可靠性：保 conformal 预测集合与传递性违反

LLM-as-judge 框架日益增多，用于自动 NLG 评估，但其 per-instance 可靠性仍不为人所知。我们应用于 SummEval 的双管齐下的诊断工具包：$\textbf{(1)}$ 一种传递性分析揭示了被低 aggregate 违反率 ($\bar{\rho} = 0.8$-$4.1\%$)掩盖的 per-input 不一致性，其中 $33$-$67\%$ 的文档表现出至少一个有向 3 环；$\textbf{(2)}$ 对 1-5 Likert 评分进行 split conformal 预测集合，提供理论上保证的 $\geq(1{-}\alpha)$ 覆盖率，集合宽度作为 per-instance 可靠性指示器 ($r_s = {+}0.576$, $N{=}1{,}918$, $p < 10^{-100}$，全部 judge 汇总)。关键在于，预测集合宽度显示出 consistent cross-judge 一致性 ($\bar{r} = 0.32$-$0.38$)，表明其捕获的是文档层面的难度而非 judge 特定噪声。在四个 judge 和四个准则上，两种诊断方法均趋于一致：准则的重要性大于 judge，其中 relevance 被最可靠评估（平均集合大小约 3.0），coherence 次之（平均集合大小约 3.9），而 fluency 和 consistency 仍不可靠（平均集合大小约 4.9）。我们公开所有代码、提示语和已缓存结果。