CMLFormer：用于代码混合语言建模的双解码器Transformer及切换点学习
计算与语言
2025-05-20 v1 机器学习
摘要
代码混合语言以句子内部频繁的语言转换为特征，给标准语言模型带来结构性挑战。本文提出 CMLFormer，一种增强型多层双解码器Transformer，采用共享编码器和同步解码器跨注意力机制，旨在建模代码混合文本的语言和语义动态。CMLFormer 在带有切换点和翻译注释的增强 Hinglish 语料库上进行预训练，并引入多个专门针对捕捉切换行为、跨语言结构和代码混合复杂性的新目标。我们的实验表明，在特定预训练设置下，CMLFormer 在 HASOC-2021 数据集上相比其他方法在 F1 分数、精确率和准确率上均取得改进。注意力分析进一步显示，其能够识别并注意力地关注切换点，验证了其对代码混合结构的敏感性。这些结果表明 CMLFormer 的架构和多任务预训练策略对于建模代码混合语言有效。
引用
@article{arxiv.2505.12587,
title = {CMLFormer: A Dual Decoder Transformer with Switching Point Learning for Code-Mixed Language Modeling},
author = {Aditeya Baral and Allen George Ajith and Roshan Nayak and Mrityunjay Abhijeet Bhanja},
journal= {arXiv preprint arXiv:2505.12587},
year = {2025}
}