Transformer 能否通过 Wug 测试？神经形态屈折模型中复制偏置的调谐
计算与语言
2021-04-15 v1
摘要
深度学习序列模型已成功应用于形态屈折任务。过去几年 SIGMORPHON 共享任务的结果表明，此类模型表现良好，但前提是训练数据覆盖足量不同词目，或测试时屈折的词目已在训练中出现——这些任务中大体确系如此。令人惊讶的是，诸如 Transformer 的标准模型在要求对先前未见词目进行屈折时（即类“wug 测试”情形下）几乎完全无法泛化屈折模式。虽然既有的数据增强技术可通过利用当前语言字母表幻觉合成新词形以引入复制偏置来缓解此缺陷，我们表明若要更有效，幻觉过程需注意音节长度的子串而非单个字符或词干。我们报告了在训练与测试数据词目不重叠时，基于子串的幻觉模型相较先前数据幻觉方法的显著性能提升。
引用
@article{arxiv.2104.06483,
title = {Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models},
author = {Ling Liu and Mans Hulden},
journal= {arXiv preprint arXiv:2104.06483},
year = {2021}
}