ZoDIAC：区域丢弃丢弃率注入注意力计算
摘要
过去几年中，transformer 模型已被用于多种任务，如图像描述、图像分类、自然语言生成与自然语言理解。作为 transformer 模型的关键组件，自注意力通过映射源序列与目标序列头元素间的关系来计算注意力值，然而其缺乏显式机制来针对输入与目标序列的上下文对注意力值进行精炼与增强。基于这一直觉，我们提出一种称为区域丢弃丢弃率注入注意力计算（ZoDIAC）的新颖精炼与增强注意力机制，其中输入源序列与目标序列各元素的注意力值强度先使用 GELU 与 dropout 进行精炼，随后通过所提出的区域丢弃（zoneup）过程进行增强，该过程包含注入一个可学习的标量因子。我们的大量实验表明，在 MS-COCO 数据集上，相较于 transformer 模型中的常规自注意力模块，使用不同特征提取器的 ZoDIAC 在所有图像描述指标下均取得统计显著的更高分数。我们提出的 ZoDIAC 注意力模块可作为所有 transformer 模型中注意力组件的即插即用替代。我们的实验代码公开于：https://github.com/zanyarz/zodiac
引用
@article{arxiv.2206.14263,
title = {ZoDIAC: Zoneout Dropout Injection Attention Calculation},
author = {Zanyar Zohourianshahzadi and Terrance E. Boult and Jugal K. Kalita},
journal= {arXiv preprint arXiv:2206.14263},
year = {2025}
}
备注
This work was published at IEEE AIxSET 2024 (DOI: 10.1109/AIxSET62544.2024.00008). Arxiv didn't allow a new submission for the journal version (DOI: 10.1142/S1793351X25440039), so both versions with separate DOIs are merged into one Arxiv entry to reflect the latest journal updates