面向性能的剪枝：使用 mBERT 在低资源孔卡尼语中实现高效的习语与隐喻分类
计算与语言
2025-07-29 v2
摘要
在本文中，我们探讨了修辞语言表达对自然语言处理（NLP）系统造成的持续挑战，特别是在孔卡尼语等低资源语言中。我们提出了一种混合模型，将预训练的多语言 BERT（mBERT）与双向 LSTM 和线性分类器相集成。该架构在作为本工作一部分开发的一个新引入的隐喻分类标注数据集上进行了微调。为了提高模型的效率，我们实施了一种基于梯度的注意力头剪枝策略。对于隐喻分类，剪枝后的模型达到了 78% 的准确率。我们还将我们的剪枝方法应用于扩展现有的习语分类任务，达到了 83% 的准确率。这些结果证明了注意力头剪枝在为代表性不足的语言构建高效 NLP 工具方面的有效性。
引用
@article{arxiv.2506.02005,
title = {Pruning for Performance: Efficient Idiom and Metaphor Classification in Low-Resource Konkani Using mBERT},
author = {Timothy Do and Pranav Saran and Harshita Poojary and Pranav Prabhu and Sean O'Brien and Vasu Sharma and Kevin Zhu},
journal= {arXiv preprint arXiv:2506.02005},
year = {2025}
}
备注
10 pages, 7 figures