文本规范化对中世纪契约分类是否相关？
计算与语言
2025-07-24 v2 信息检索
摘要
本研究考察了历史文本规范化对中世纪契约分类的影响，具体 focus on document dating and locating。我们使用来自数字档案馆的中高德（Middle High German）契约数据集，评估 various classifier，包括传统模型和基于转换器的模型，带或不带规范化。我们的结果表明，规范化对定位任务的影响最小，但会降低 dating 的准确率，这表明原始文本包含规范化可能遮蔽的关键特征。我们发现支持向量机和梯度提升模型在其他模型之上，质疑了 transformer 在此用例中的效率。结果表明，历史文本规范化需要采取取舍策略，强调保留某些文本特征的重要性，这些特征对文档分析中的分类任务至关重要。
引用
@article{arxiv.2408.16446,
title = {Is text normalization relevant for classifying medieval charters?},
author = {Florian Atzenhofer-Baumgartner and Tamás Kovács},
journal= {arXiv preprint arXiv:2408.16446},
year = {2025}
}
备注
This preprint has not undergone peer review or any post-submission improvements or corrections. The Version of Record of this contribution is published in LNCS volume 15178 and is available online at https://doi.org/10.1007/978-3-031-72440-4_12