重访可接受性判断
计算与语言
2023-09-29 v3 人工智能
摘要
本工作中，我们在大语言模型背景下重访语言可接受性。我们引入CoLAC——中文语言可接受性语料库（Corpus of Linguistic Acceptability in Chinese），这是首个面向非印欧语系语言的大规模可接受性数据集。它由母语者校验，且是首个带有两套标签的可接受性数据集：语言学家标签与众包标签。我们的实验表明，即便最大的InstructGPT模型在CoLAC上也仅达到随机水平，而ChatGPT的性能（48.30 MCC）也远低于有监督模型（59.03 MCC）与人类（65.11 MCC）。通过跨语言迁移实验与细粒度语言学分析，我们对模型预测提供了详细分析，并首次证明语言可接受性知识可在类型学上迥异的语言间迁移，并可追溯至预训练阶段。我们的数据集公开于\url{https://github.com/huhailinguist/CoLAC}。
引用
@article{arxiv.2305.14091,
title = {Revisiting Acceptability Judgements},
author = {Hai Hu and Ziyin Zhang and Weifang Huang and Jackie Yan-Ki Lai and Aini Li and Yina Patterson and Jiahui Huang and Peng Zhang and Chien-Jer Charles Lin and Rui Wang},
journal= {arXiv preprint arXiv:2305.14091},
year = {2023}
}