探究 OCR 敏感神经元以改进历史文档中的实体识别
计算与语言
2024-11-19 v3 人工智能
摘要
本文探究了 Transformer 架构中 OCR 敏感神经元的存在及其对历史文档命名实体识别（NER）性能的影响。通过分析神经元对干净文本和噪声文本输入的激活模式，我们识别并中和了 OCR 敏感神经元以提升模型性能。基于两个开源大语言模型（Llama2 和 Mistral），实验证明了 OCR 敏感区域的存在，并展示了在历史报纸和经典评注上的 NER 性能提升，突出了通过靶向神经元调制来提升模型在噪声文本上性能的潜力。
引用
@article{arxiv.2409.16934,
title = {Investigating OCR-Sensitive Neurons to Improve Entity Recognition in Historical Documents},
author = {Emanuela Boros and Maud Ehrmann},
journal= {arXiv preprint arXiv:2409.16934},
year = {2024}
}