在基于图的依存句法分析中最大生成树对温度缩放具有不变性
计算与语言
2021-06-16 v1
摘要
现代基于图的句法依存分析器通过为句中每个词元预测其可能句法中心词(即所有其他词元)上的概率分布,再从所得对数概率中提取最大生成树来运作。如今,几乎所有此类分析器都使用深度神经网络,因此可能易受误校准(特别是过度自信预测)的影响。在本文中,我们证明温度缩放——一种流行的神经网络事后校准技术——无法改变上述过程的输出。我们得出结论:需要其他技术以解决基于图的依存分析器中的误校准问题,从而提升分析准确率。
关键词
引用
@article{arxiv.2106.08159,
title = {Maximum Spanning Trees Are Invariant to Temperature Scaling in Graph-based Dependency Parsing},
author = {Stefan Grünewald},
journal= {arXiv preprint arXiv:2106.08159},
year = {2021}
}
备注
4 pages, 2 figures