质疑保守预测中的覆盖率-长度指标：当较短区间并非更好时
机器学习
2026-01-30 v1 机器学习
摘要
保守预测（Conformal Prediction, CP）已成为分布无关不确定性量化的基石，通常以其覆盖率和区间长度进行评估。本文批判性地检视了这些标准指标的充分性。我们展示，区间长度可以通过一种反直觉的方法（称为偏好技巧，Prejudicial Trick, PT）来“欺骗性”地改进，而仍保持有效的覆盖率。具体而言，对于给定的测试样本，PT以概率方式返回一个区间，该区间要么为空，要么使用调整后的置信水平构建，从而保持边际覆盖率。虽然PT可能导致欺骗性的较低区间长度，但它引入了实际漏洞：同一输入在算法的多次运行中可能得到完全不同的预测区间。我们正式推导了PT实现这些误导性改进的条件，并在各种回归和分类任务中提供了广泛的实证证据。此外，我们引入了一种新的指标——区间稳定性，以帮助检测新的CP方法是否隐式地通过此类PT技术来改进长度。
引用
@article{arxiv.2601.21455,
title = {Questioning the Coverage-Length Metric in Conformal Prediction: When Shorter Intervals Are Not Better},
author = {Yizhou Min and Yizhou Lu and Lanqi Li and Zhen Zhang and Jiaye Teng},
journal= {arXiv preprint arXiv:2601.21455},
year = {2026}
}