面向语码转换数据的任务特定预训练与跨语言迁移
计算机与社会
2021-02-25 v1
摘要
使用任务特定预训练并利用跨语言迁移是处理语码转换数据最流行的两种方式。本文旨在比较二者在情感分析任务上的效果。我们采用两种德拉维达语系语码转换语言——泰米尔语-英语和马拉雅拉姆语-英语，以及四种不同的基于 BERT 的模型。我们比较了任务特定预训练与跨语言迁移的效果，发现相较于利用多语言 BERT 模型的跨语言迁移所取得的性能，任务特定预训练带来了更优的零样本与有监督性能。
引用
@article{arxiv.2102.12406,
title = {Actionable Principles for Artificial Intelligence Policy: Three Pathways},
author = {Charlotte Stix},
journal= {arXiv preprint arXiv:2102.12406},
year = {2021}
}