Transformer模型中的语言指纹：语言变异如何影响讽刺检测中的参数选择
计算与语言
2024-06-05 v1 人工智能
摘要
本文探讨语言多样性、情感分析和Transformer模型架构之间的相关性。我们旨在研究不同的英语变体如何影响基于Transformer的讽刺检测模型。为了进行我们的研究，我们使用EPIC语料库提取了五个不同的英语变体特定数据集，并在五种不同架构上应用了KEN剪枝算法。我们的结果揭示了最优子网络之间的若干相似性，这为语言变体之间具有强烈相似性和更大差异性的情况提供了见解。我们发现，不同模型的最优子网络共享至少60%的参数，强调了参数值在捕获和解释语言变异中的重要性。这项研究强调了在同一语言的不同变体上训练的模型之间固有的结构相似性，以及参数值在捕获这些细微差别中的关键作用。
引用
@article{arxiv.2406.02338,
title = {Linguistic Fingerprint in Transformer Models: How Language Variation Influences Parameter Selection in Irony Detection},
author = {Michele Mastromattei and Fabio Massimo Zanzotto},
journal= {arXiv preprint arXiv:2406.02338},
year = {2024}
}