局部结构在大多数语言中最为重要
计算与语言
2022-11-10 v1
摘要
许多近期的扰动研究发现，在英语自然语言理解（NLU）任务中，关于什么重要、什么不重要的反直觉结果。诸如词序之类的编码属性，常可通过打乱而移除，且不影响下游性能。此类洞见可用于指导未来英语 NLP 模型的研究。由于多语言环境下的许多改进是对英语方法的整体套用，验证那些研究在多语言环境下能否复现十分重要。本工作中，我们在多语言环境下复现了一项关于局部结构重要性及全局结构相对不重要性的研究。我们发现，在英语上观察到的现象广泛地迁移至超过 120 种语言，但有若干注意事项。
引用
@article{arxiv.2211.05025,
title = {Local Structure Matters Most in Most Languages},
author = {Louis Clouâtre and Prasanna Parthasarathi and Amal Zouaq and Sarath Chandar},
journal= {arXiv preprint arXiv:2211.05025},
year = {2022}
}