面向自然语言处理的结构化输出预测器校准

我们解决自然语言处理（NLP）应用中对感兴趣输出实体的预测置信度进行校准的问题。诸如命名实体识别与问答等 NLP 应用必须为其预测产生校准过的置信度分数，尤其在系统部署于医疗等安全关键领域时。然而，此类结构化预测模型的输出空间通常过大，无法直接套用二分类或多分类校准方法。在本研究中，我们提出一种针对基于神经网络的结构化预测模型中感兴趣输出实体的通用校准方案。我们提出的方法可与任意二分类校准方案及神经网络模型配合使用。此外，我们表明该校准方法也可用作一种感知不确定性的、实体特定的解码步骤，在无需额外训练成本或数据需求的情况下提升底层模型性能。我们展示了该方法在命名实体识别、词性标注与问答上优于当前校准技术。我们还在多个任务与基准数据集上通过解码步骤提升了模型性能。我们的方法在域外测试场景下同样改善了校准与模型表现。