从虚假注意力到真正精确：基于混淆的对抗注意力学习
人工智能
2025-12-25 v1
摘要
Transformer-based 模型因其卓越的捕获上下文信息能力而被广泛用于情感分析任务。然而，这些方法在某些情境下常表现出次优的准确率。通过分析注意力分布，我们注意到现有模型倾向于主要分配注意力到常见词汇，忽略较不流行但高度任务相关的术语，这显著损害了整体性能。为此，我们提出了一种针对注意力的对抗式反馈训练机制 (Adversarial Feedback for Attention, AFA)，使模型能够自动重新分配注意力权重到合适的焦点，而无需手动标注。该机制包含一种动态掩码策略，尝试掩码各种词汇以欺骗判别器，而判别器则努力检测这些掩码所诱导的显著差异。此外，利用 Transformer 模型对词元级扰动的敏感性，我们采用策略梯度方法来优化注意力分布，从而实现高效且快速的收敛。在三个公开数据集上的实验表明，我们的方法取得了最新的结果。 Furthermore, 将该训练机制应用于增强大语言模型注意力后，进一步提升了 12.6% 的性能。
关键词
引用
@article{arxiv.2512.20661,
title = {From Fake Focus to Real Precision: Confusion-Driven Adversarial Attention Learning in Transformers},
author = {Yawei Liu},
journal= {arXiv preprint arXiv:2512.20661},
year = {2025}
}
备注
10 pages, 5 figures, submited to WWW 2026