反距离加权注意力
机器学习
2023-12-08 v2
摘要
我们报告了将缩放点积（softmax 内）注意力替换为欧氏距离的负对数所带来的效果。这种注意力形式简化为反距离加权插值。在简单的单隐藏层网络中，使用 vanilla 交叉熵损失在分类问题上训练时，它倾向于产生包含原型的键矩阵和具有对应 logits 的值矩阵。我们还展示了所得可解释网络可通过手动构建的原型进行增强，以对特殊情况进行低影响处理。
引用
@article{arxiv.2310.18805,
title = {Inverse distance weighting attention},
author = {Calvin McCarter},
journal= {arXiv preprint arXiv:2310.18805},
year = {2023}
}
备注
Associative Memory & Hopfield Networks Workshop at NeurIPS 2023