基于K-means聚类的特征一致性对齐用于无标签模型评估
机器学习
2023-04-20 v1 计算机视觉与模式识别
摘要
无标签模型评估旨在不依赖真实标签的情况下预测模型在各种测试集上的性能。与经典监督模型评估不同，该任务的主要挑战在于测试数据中缺乏标签。本文介绍了我们为CVPR 2023视觉数据集理解研讨会首届DataCV挑战赛提供的解决方案。首先，我们提出了一种称为基于K-means聚类的特征一致性对齐（KCFCA）的新方法，专为处理各种数据集的分布偏移而设计。KCFCA利用K-means算法对带标签训练集与无标签测试集进行聚类，随后以特征一致性对齐聚类中心。其次，我们开发了动态回归模型以捕捉分布偏移与模型精度之间的关系。第三，我们设计了一种算法以发现离群模型因子、剔除离群模型，并融合多个自评估（autoeval）模型的优势。在DataCV挑战赛排行榜上，我们的方法以6.8526的RMSE获得第2名。我们的方法相较最佳基线方法显著提升36%（6.8526对比10.7378）。此外，我们的方法在验证集上取得了相对更鲁棒且更优的单模型性能。
引用
@article{arxiv.2304.09758,
title = {K-means Clustering Based Feature Consistency Alignment for Label-free Model Evaluation},
author = {Shuyu Miao and Lin Zheng and Jingjing Liu and and Hong Jin},
journal= {arXiv preprint arXiv:2304.09758},
year = {2023}
}
备注
Accepted by CVPR 2023 workshop