MAMI：用于长序列神经元描述的多注意力互信息模型
人工智能
2024-01-08 v1 计算与语言
计算机视觉与模式识别
摘要
神经元标记是一种可视化特定神经元对激活该神经元的特定模式的行为和响应的方法。神经元标记提取深度神经网络中特定神经元所捕获特征的信息，其中一种方法使用编码器 - 解码器图像描述生成方法。编码器可以是基于 CNN 的预训练模型，解码器则是用于文本生成的基于 RNN 的模型。先前的工作 MILAN（互信息引导的神经元语言标注）尝试在编码器中使用改进的 Show, Attend, and Tell (SAT) 模型，并在解码器中使用添加了 Bahdanau 注意力的 LSTM 来可视化神经元行为。MILAN 在短序列神经元描述上表现出色，但在长序列神经元描述上效果不佳。因此，在本工作中，我们希望通过利用不同类型的注意力机制并将多种注意力结果融合在一起，以结合多种注意力机制的优势，从而进一步提升 MILAN 的性能。使用我们的复合数据集，我们在提出的模型上获得了更高的 BLEU 和 F1-Score，分别达到 17.742 和 0.4811。在模型收敛至峰值时，我们的模型获得了 21.2262 的 BLEU 分数和 0.4870 的 BERTScore F1-Score。
引用
@article{arxiv.2401.02744,
title = {MAMI: Multi-Attentional Mutual-Information for Long Sequence Neuron Captioning},
author = {Alfirsa Damasyifa Fauzulhaq and Wahyu Parwitayasa and Joseph Ananda Sugihdharma and M. Fadli Ridhani and Novanto Yudistira},
journal= {arXiv preprint arXiv:2401.02744},
year = {2024}
}