面向越南token级分类的集成编码器PhoBERT图注意网络
计算与语言
2025-10-14 v1
摘要
我们提出一种新型神经网络架构，命名为TextGraphFuseGAT，将预训练的转换器编码器（PhoBERT）与图注意网络集成，用于token级分类任务。该模型在PhoBERT生成的token嵌入上构建完全连接图，使GAT层能够捕获超过序列上下文alone所建模的丰富token间依赖关系。为进一步增强上下文化，应用Transformer风格的自注意力层位于图增强嵌入之上。最终的token表示通过分类头以执行序列标注。我们在三个越南基准数据集上评估了该方法：PhoNER-COVID19用于新冠疫情领域的命名实体识别、PhoDisfluency用于语音不连贯检测以及VietMed-NER用于医疗领域的命名实体识别。VietMed-NER是首个越南医疗领域spoken命名实体识别数据集，包含18种实体类型，来源于真实世界的医疗语音记录，采用BIO标注方案。其专门的词汇表和领域特定表达使其成为token级分类模型的具挑战性基准。实验结果表明，我们的方法在包括但不限于仅转换器和BiLSTM + CNN + CRF等混合神经模型在内的强基线上均表现出色，确认了将预训练语义特征与图基关系建模相结合以提高跨多个领域token分类效果的有效性。
引用
@article{arxiv.2510.11537,
title = {An Encoder-Integrated PhoBERT with Graph Attention for Vietnamese Token-Level Classification},
author = {Ba-Quang Nguyen},
journal= {arXiv preprint arXiv:2510.11537},
year = {2025}
}
备注
11 pages, 1 figure. Submitted to VLSP 2025 and reviewed