为何仅用 Micro-F1？关系分类中评测指标的类别加权
计算与语言
2022-05-20 v1 机器学习
摘要
关系分类模型 conventionally 仅使用单一指标进行评估，例如 micro-F1、macro-F1 或 AUC。在本工作中，我们分析了针对不平衡数据集的加权方案，如 micro 和 macro。我们引入了一个加权方案框架，其中现有方案为极端情况，并提出了两种新的中间方案。我们表明，报告不同加权方案的结果能更好地凸显模型的优势与不足。
引用
@article{arxiv.2205.09460,
title = {Why only Micro-F1? Class Weighting of Measures for Relation Classification},
author = {David Harbecke and Yuxuan Chen and Leonhard Hennig and Christoph Alt},
journal= {arXiv preprint arXiv:2205.09460},
year = {2022}
}
备注
NLP Power! The First Workshop on Efficient Benchmarking in NLP (ACL 2022)