帕累托探测：在准确性与复杂性之间权衡

如何以一种既有原则又有用的方法探测上下文词表示中的语言结构，近期在NLP文献中受到显著关注。在我们对此讨论的贡献中，我们主张采用一种反映探测复杂度与性能之间根本权衡的探测度量：帕累托超体积。为度量复杂性，我们提出若干参数与非参数度量。我们使用帕累托超体积作为评估度量的实验表明，探测器常不符合我们的预期——例如，为何非上下文的fastText表示比上下文的BERT表示编码更多形态句法信息？这些结果表明，常见的简化探测任务（如词性标注和依存弧标注）不足以评估上下文词表示中所编码的语言结构。这促使我们提出将完整依存解析作为探测任务。为支持我们需要更难探测任务的建议，我们的依存解析实验揭示了上下文与非上下文表示之间在句法知识上的巨大差距。