Team Ryu 在 SIGMORPHON 2024 分词子任务中的提交
计算与语言
2024-10-23 v1 人工智能
摘要
本文介绍了 team Ryu 对 SIGMORPHON 2024 分词子任务的提交。我的提交探索了形态学分割方法是否可用于子词标记器。我采用两种方法：统计分割方法 Morfessor 和基于 transformer 的序列到序列（seq2seq）分割模型。预测结果表明，形态学分割的效果不逊于常用的子词标记器。此外，我研究了标记器词汇如何影响语言模型的性能。具有平衡词频分布的标记器往往表现更好。通过保持频繁词语作为唯一标记，可实现平衡的词汇表。
引用
@article{arxiv.2410.17094,
title = {Team Ryu's Submission to SIGMORPHON 2024 Shared Task on Subword Tokenization},
author = {Zilong Li},
journal= {arXiv preprint arXiv:2410.17094},
year = {2024}
}