领域散度：综述与实证分析

领域散度在估计模型在新领域上的性能方面起着重要作用。尽管关于散度度量的文献很多，研究人员发现很难为给定的 NLP 应用选择合适的散度。我们通过综述文献和一项实证研究来解决这一不足。我们开发了由三类——信息论、几何和高阶度量——组成的散度度量分类法，并确定了它们之间的关系。此外，为理解这些度量的常见用例，我们识别出三种新颖应用——1) 数据选择，2) 学习表示，以及 3) 真实场景中的决策——并用以组织我们的文献。由此我们识别出信息论度量在 1) 和 3) 中普遍使用，而高阶度量在 2) 中更常见。为了进一步帮助研究人员选择合适的度量来预测性能下降——真实场景决策中的重要方面，我们执行了跨越 130 个领域适应场景、3 种不同 NLP 任务和从我们的综述中识别出的 12 种散度度量的相关性分析。为了计算这些散度，我们考虑当前的上下文词表示 (CWR) 并与较早的分布式表示进行对比。我们发现基于词分布的传统度量仍是强基线，而带有 CWR 的高阶度量则有效。