祖语到克里奥尔语的迁移并非易事
计算与语言
2022-06-10 v1
摘要
我们旨在为缺乏大量可用数据的克里奥尔语学习语言模型，因此探索了从祖语迁移的潜力（'祖语迁移假设'）。我们发现标准迁移方法并不能促进祖语迁移。令人惊讶的是，与其他非克里奥尔语不同，克里奥尔语呈现出一种非常明显的两阶段模式：随着我们的训练损失趋于平稳，且语言模型开始在其源语言上过拟合，克里奥尔语上的困惑度反而下降。我们探讨了这种压缩阶段是否能产生实际有用的语言模型（'祖语瓶颈假设'），但也证伪了该假设。此外，我们表明克里奥尔语即使在随机的、不相关的语言上训练时也会呈现这种两阶段模式。因此克里奥尔语似乎是类型学上的异常值，我们推测这两个观察结果之间是否存在联系。
引用
@article{arxiv.2206.04371,
title = {Ancestor-to-Creole Transfer is Not a Walk in the Park},
author = {Heather Lent and Emanuele Bugliarello and Anders Søgaard},
journal= {arXiv preprint arXiv:2206.04371},
year = {2022}
}
备注
Workshop on Insights from Negative Results in NLP 2022