面向多类型孟加拉医学实体识别的轻量化混合 Transformer-CRF 架构
计算与语言
2026-05-26 v1
摘要
MedER 指医学实体的识别。这对于从非结构化医学文本中提取结构化临床信息至关重要。许多现有系统依赖基于 Transformer 的模型，这些模型计算昂贵且在资源受限的环境中难以部署。此外，早期工作常使用放宽的评估指标，通过奖励正确预测主导 "Outside" (O) 标记来人为虚高性能。在本文中，我们提出了面向孟加拉语的轻量化医学实体识别 (MedER) 框架。我们使用 12 层 BanglaBERT 模型结合条件随机场 (CRF) 层建立严格的基线，用于精确边界实体检测。为解决部署约束，我们通过知识蒸馏 (KD) 将该教师模型压缩为 4 层学生网络，其中学生从教师的预-CRF 软发射 logits 中学习。最后，我们应用 INT8 动态量化进一步减少模型规模和推理成本。我们的最终量化学生模型在 CPU 上实现 8.6 倍加速，存储需求仅为 CRF 教师模型的约 48%。
关键词
引用
@article{arxiv.2605.25463,
title = {A Lightweight Hybrid Transformer-CRF Architecture for Multi-Type Bangla Medical Entity Recognition},
author = {Peyal Saha and Ahsanul Haque Hasib and Shoumik Barman Polok},
journal= {arXiv preprint arXiv:2605.25463},
year = {2026}
}