利用正确性判别器预测泛化性能

预测 NLP 模型在未见过的、可能分布外数据上的准确率，是值得信赖的先决条件。我们提出一种新颖的模型，可在不需要未见数据的黄金标签的情况下，建立准确率的上界与下界。我们通过训练一个判别器来预测给定序列到序列模型的输出是否正确来实现这一点。我们在多种标注、句法分析与语义解析任务上表明，黄金准确率可靠地位于预测的上界与下界之间，且这些界之间 remarkably 接近。