KoBigBird-large：面向韩语语言理解的 Transformer 改造
计算与语言
2023-09-20 v1
摘要
本工作提出 KoBigBird-large，一种大尺寸的韩文 BigBird，其实现了最先进的性能并支持韩语语言理解的长序列处理。无需进一步预训练，我们仅改造架构并以我们提出的锥形绝对位置编码表示(TAPER)扩展位置编码。在实验中，KoBigBird-large 在韩语语言理解基准上展现出最先进的总体性能，并在针对较长序列的文档分类与问答任务上相对于具有竞争力的基线模型取得最佳性能。我们在此公开发布我们的模型。
引用
@article{arxiv.2309.10339,
title = {KoBigBird-large: Transformation of Transformer for Korean Language Understanding},
author = {Kisu Yang and Yoonna Jang and Taewoo Lee and Jinwoo Seong and Hyungjin Lee and Hwanseok Jang and Heuiseok Lim},
journal= {arXiv preprint arXiv:2309.10339},
year = {2023}
}
备注
Accepted at IJCNLP-AACL 2023