基于 RNN 的迁移学习技术在低资源语言上的分析
摘要
诸如菲律宾语之类的低资源语言面临数据稀缺的问题，这使得为菲律宾语开发 NLP 应用颇具挑战。迁移学习（TL）技术的使用缓解了低资源环境下的这一问题。近年来，基于 transformer 的模型被证明在 low-resource 任务中有效，但由于其高算力和内存需求，在可及性方面面临挑战。因此，需要一种更廉价但有效的替代方案。本文有三方面贡献。第一，发布一个面向菲律宾语的预训练 AWD-LSTM 语言模型。第二，在仇恨语音分类任务上对 AWD-LSTM 进行基准测试，并表明其性能可与基于 transformer 的模型相媲美。第三，利用退化测试分析 AWD-LSTM 在低资源环境下的性能，并将其与基于 transformer 的模型进行比较。----- 诸如菲律宾语之类的低资源语言在可获取的数据上匮乏，因此难以构建该语言的应用。迁移学习（TL）技术对数据匮乏的低资源环境（low-resource setting）大有助益。在过去几年中，基于 transformer 的 TL 技术在 low-resource 任务上占据主导，但其算力和内存需求较高，因而需要更廉价而有效的替代方案。本文有三方面贡献。其一，发布一个面向菲律宾语的预训练 AWD-LSTM 语言模型，作为构建菲律宾语 NLP 应用的基石。其二，在仇恨语音分类任务上对 AWD-LSTM 进行基准测试，并展示其能够与基于 transformer 的模型相抗衡。其三，利用退化测试考察 AWD-LSTM 在低资源环境下的表现，并与基于 transformer 的模型进行对比。
引用
@article{arxiv.2010.06447,
title = {Pagsusuri ng RNN-based Transfer Learning Technique sa Low-Resource Language},
author = {Dan John Velasco},
journal= {arXiv preprint arXiv:2010.06447},
year = {2020}
}
备注
5 pages, 3 tables, 1 figure. in Filipino language; typos corrected, rephrased sentences, thoughts and results unchanged