过滤语料训练（FiCT）表明语言模型能从间接证据中泛化
计算与语言
2024-08-08 v2 人工智能
机器学习
摘要
本文介绍过滤语料训练（Filtered Corpus Training），一种在训练数据中过滤掉某些语言结构的语料上训练语言模型（LM）的方法，并用它来衡量语言模型基于间接证据进行语言泛化的能力。我们将该方法应用于LSTM和Transformer LM（规模大致相当），开发了针对多种语言现象的过滤语料。结果表明，虽然Transformer作为LM更好（以困惑度衡量），但两种模型在语言泛化指标上表现同样出色且令人惊讶，表明它们能够从间接证据中泛化。
引用
@article{arxiv.2405.15750,
title = {Filtered Corpus Training (FiCT) Shows that Language Models can Generalize from Indirect Evidence},
author = {Abhinav Patil and Jaap Jumelet and Yu Ying Chiu and Andy Lapastora and Peter Shen and Lexie Wang and Clevis Willrich and Shane Steinert-Threlkeld},
journal= {arXiv preprint arXiv:2405.15750},
year = {2024}
}
备注
Forthcoming in Transactions of the Association for Computational Linguistics (TACL). This is a pre-MIT Press publication version. For code and trained models, see http://github.com/CLMBRs/corpus-filtering