针对初汉竹简脚本的多模态多粒度标记器
计算与语言
2024-09-04 v1 计算机视觉与模式识别
摘要
本研究提出一种专为分析古代中文脚本而设计的多模态多粒度标记器，具体针对春秋战国时期（公元前 771 年至前 256 年）在古代中国使用的竹简脚本。考虑到古代中文脚本的复杂层次结构，即单个字符可能由多个子字符组合而成，我们的标记器首先采用字符检测定位字符边界，然后在字符级和子字符级进行字符识别。此外，为支持学术界，我们还组装了第一个规模为 10 万余篇的标注竹简图像数据集。 在基于我们数据集的词性标注任务上，使用我们提出的标记器相较于主流子词标记器可实现约 5.5% 的 F1 分数相对提升。我们的工作不仅有助于进一步研究该特定脚本，也有潜力推动其他形式古代中文脚本的研究。
引用
@article{arxiv.2409.01011,
title = {Multi-Modal Multi-Granularity Tokenizer for Chu Bamboo Slip Scripts},
author = {Yingfa Chen and Chenlong Hu and Cong Feng and Chenyang Song and Shi Yu and Xu Han and Zhiyuan Liu and Maosong Sun},
journal= {arXiv preprint arXiv:2409.01011},
year = {2024}
}
备注
12 pages, 3 figures