Transformer 堆栈内的情境门控：用于提升歌词分类与校准的协同特征调制
机器学习
2025-12-03 v1
摘要
本研究引入了特征融合的重大架构创新，通过将辅助结构特征直接整合到预训练Transformer的自注意力机制中。我提出了SFL Transformer，这是一种新型深度学习模型，利用情境门控机制（中间SFL）来调制BERT编码器堆栈中隐藏状态序列，而非在最终输出层进行特征融合。该方法利用低维结构线索（Fstruct）来调制深层语境化语义特征（Hseq）。该模型应用于源自UMAP降维歌词嵌入的具有挑战性的二元分类任务。SFL Transformer实现了0.9910的准确率和0.9910的宏平均F1分数，显著优于先前发布的SFL模型（准确率0.9894）。关键的是，这种情境门控策略保持了极佳的可靠性，预期校准误差（ECE = 0.0081）和对数损失（0.0489）均很低。本工作验证了将辅助上下文中堆注是实现结构和语义信息协同组合的最有效方式，创建了一个具备卓越判别力和高保真概率估计的模型。
关键词
引用
@article{arxiv.2512.02053,
title = {Contextual Gating within the Transformer Stack: Synergistic Feature Modulation for Enhanced Lyrical Classification and Calibration},
author = {M. A. Gameiro},
journal= {arXiv preprint arXiv:2512.02053},
year = {2025}
}