基于中位数的多模态分区方法用于 LLM 评判评分分析
机器学习
2026-03-12 v1 机器学习
摘要
LLM 评判是一种灵活的文本评估框架，通过更改提示模板，可从多个角度获取给定文本质量的分数。使用 LLM 评判的主要挑战包括 LLM 推理的计算成本（尤其是在评估大量文本时）以及 LLM 评估器固有的偏差。为解决这些问题并揭示由 LLM 评估器引起的得分偏差结构，我们提出将张量聚类方法应用于给定的 LLM 评判评分张量，其条目是针对不同问题、作答者和评估者组合的得分。具体而言，我们开发了一种新的张量聚类方法 MultiwayPAM，通过该方法可同时估计每个模式的聚类成员身份和中位数。通过观察由 MultiwayPAM 获取的中位数，我们可以获得关于每个问题/作答者/评估者聚类的成员身份知识。我们通过将其应用于两个实际数据集的评分张量，实验性地展示了 MultiwayPAM的有效性。
关键词
引用
@article{arxiv.2603.10287,
title = {MultiwayPAM: Multiway Partitioning Around Medoids for LLM-as-a-Judge Score Analysis},
author = {Chihiro Watanabe and Jingyu Sun},
journal= {arXiv preprint arXiv:2603.10287},
year = {2026}
}