面向大规模标签多标签文本分类的校准置信度度量
机器学习
2023-12-18 v1 计算与语言
机器学习
摘要
我们扩展了此前关于多标签文本分类的归纳共形预测 (ICP) 的工作，提出了一种新方法以解决在处理大量唯一标签时标签幂集 (LP) ICP 出现的计算低效问题。我们在两个英语和一个捷克语数据集上展示了原始方法与所提出的高效 LP-ICP 的实验结果。具体而言，我们将 LP-ICP 应用于三种深度人工神经网络 (ANN) 分类器，包括一种基于上下文嵌入 (bert) 和两种基于非上下文嵌入 (word2vec) 的类型。在 LP-ICP 设置中，我们为标签集分配非 conformity 分数，从而确定相应的 p 值和预测集。我们的方法通过排除大量 p 值肯定低于指定显著性水平的标签集，减轻了 LP 带来的计算负担。这在完全尊重标准共形预测 (CP) 保证的同时，显著降低了方法的计算复杂度。实验结果表明，基于上下文的分类器优于基于非上下文的分类器，并在所有考察的数据集上取得了最先进 (SOTA) 的性能。底层分类器的良好性能延续到了其 ICP 对应版本中，未造成显著的精度损失，同时获得了 ICP 的额外优势，即预测集中蕴含的置信度信息。我们通过实验证明，即使所有可能标签集的組合超过 种，生成的预测集也足够紧凑从而具有实用价值。此外，所得预测集的经验错误率证实了我们的输出是良好校准的。
引用
@article{arxiv.2312.09304,
title = {Well-calibrated Confidence Measures for Multi-label Text Classification with a Large Number of Labels},
author = {Lysimachos Maltoudoglou and Andreas Paisios and Ladislav Lenc and Jiří Martínek and Pavel Král and Harris Papadopoulos},
journal= {arXiv preprint arXiv:2312.09304},
year = {2023}
}