Coneheads：层次感知注意力
机器学习
2023-12-05 v2
摘要
诸如 Transformer 之类的注意力网络已在许多领域取得最先进的性能。这些网络严重依赖于点积注意力算子，该算子通过取两点的内积来计算其相似度。然而，内积并未显式建模真实世界数据集的复杂结构属性，例如数据点之间的层次结构。为此，我们引入锥注意力（cone attention），一种基于双曲蕴含锥的、可即插即用的点积注意力替代方案。锥注意力通过双曲锥所定义层次中两点最低公共祖先的深度来关联两点，这直观地度量了两点的发散程度并给出层次感知的相似度分数。我们在多种模型和任务上测试了锥注意力，表明其相较点积注意力及其他基线提升了任务级性能，且能以显著更少的参数匹配点积注意力。我们的结果表明，锥注意力是在计算注意力时捕获层次关系的有效方式。
引用
@article{arxiv.2306.00392,
title = {Coneheads: Hierarchy Aware Attention},
author = {Albert Tseng and Tao Yu and Toni J. B. Liu and Christopher De Sa},
journal= {arXiv preprint arXiv:2306.00392},
year = {2023}
}
备注
NeurIPS 2023