基于置信度的类别关系感知回归实现自动评估
计算机视觉与模式识别
2023-05-11 v2
摘要
自动评估旨在无需人工标注的情况下在任何测试数据集上自动评估训练好的模型。大多数现有方法利用模型提取的特征的全局统计作为数据集的表示。这忽略了分类头的影响并丢失了模型的类别间混淆信息。然而，分配到不同类别的实例比例及其置信度分数反映了模型难以分类的各类别中实例的数量，包含了整体和类别级性能的重要指示。本文提出一种基于置信度的类别关系感知回归（）方法。根据置信度分数将元集中的所有实例划分到不同类别，并从中提取全局表示。对于每个类别，将其对其他类别的局部混淆关系编码为局部表示。整体和类别级性能分别由全局和局部表示回归得到。大量实验显示了我们方法的有效性。
引用
@article{arxiv.2304.08288,
title = {Toward Auto-evaluation with Confidence-based Category Relation-aware Regression},
author = {Jiexin Wang and Jiahao Chen and Bing Su},
journal= {arXiv preprint arXiv:2304.08288},
year = {2023}
}