基于置信度的级联延迟何时足够？

级联是一种使推断成本随样本自适应变化的经典策略，其中依次调用一系列分类器。延迟规则决定是否调用序列中的下一个分类器，或终止预测。一种简单的延迟规则采用当前分类器的置信度，例如基于最大预测softmax概率。尽管此类基于置信度的延迟对级联结构一无所知——例如未对下游模型的误差建模——但其常在实践中表现极佳。本文旨在更好地理解基于置信度的延迟可能失效的条件，以及何时替代延迟策略能表现更优。我们首先给出最优延迟规则的理论刻画，精确刻画基于置信度的延迟可能受损的设定。随后我们研究事后延迟机制，并证明在以下设定中其能显著优于基于置信度的延迟：（i）下游模型为仅在一部分输入上表现良好的专用模型，（ii）样本受标签噪声影响，以及（iii）训练集与测试集间存在分布偏移。