句子嵌入中句法异常信息编码的变异性与通用性
计算与语言
2021-11-15 v1
摘要
尽管句子异常已被周期性地应用于NLP测试中，我们尚未建立起NLP模型表示中异常信息精确状态的图景。本文旨在填补两个主要空白，聚焦于句法异常领域。首先，我们通过对探测任务进行设计，使异常在句中出现的层级结构水平发生变化，从而探索异常编码中的细粒度差异。其次，我们不仅测试模型检测给定异常的能力，还通过考察不同异常类型间的迁移，检验所检测异常信号的通用性。结果表明，所有模型都编码了支持异常检测的某些信息，但检测性能因异常而异，且仅有来自较新transformer模型的表示显示出异常通用性知识的迹象。后续分析支持这些模型捕捉到了一种合法的、通用的句子怪异概念，而较粗粒度的词位置信息可能也是所观测异常检测的贡献因素。
引用
@article{arxiv.2111.06644,
title = {Variation and generality in encoding of syntactic anomaly information in sentence embeddings},
author = {Qinxuan Wu and Allyson Ettinger},
journal= {arXiv preprint arXiv:2111.06644},
year = {2021}
}
备注
BlackBoxNLP, EMNLP