基于可视化解释与虚拟对抗训练的自改进分类系统
计算与语言
2023-09-06 v1 人工智能
摘要
BERT等大型预训练模型在自然语言处理中的成功应用引起了研究者的广泛关注。由于BERT通常作为端到端黑箱，基于它的分类系统通常存在难以解释和鲁棒性低的问题。本文提出一种基于可视化解释的自改进分类模型，结合虚拟对抗训练（VAT）与BERT模型以解决上述问题。具体而言，使用微调的BERT模型作为分类器对文本情感进行分类。随后，预测的情感分类标签作为另一BERT的输入一部分，通过采用VAT的半监督训练方式进行垃圾邮件分类。此外，采用包括可视化词重要性和归一化注意力头矩阵在内的可视化技术，分析各组件与分类精度的相关性。而且，在可视化分析中将发现全新特征，分类性能得以提升。在Twitter推文数据集上的实验结果证明了所提模型在分类任务上的有效性。此外，消融研究结果说明了所提模型不同组件对分类结果的影响。
引用
@article{arxiv.2309.01196,
title = {A Visual Interpretation-Based Self-Improved Classification System Using Virtual Adversarial Training},
author = {Shuai Jiang and Sayaka Kamei and Chen Li and Shengzhe Hou and Yasuhiko Morimoto},
journal= {arXiv preprint arXiv:2309.01196},
year = {2023}
}