用于稀疏连续注意力的核形变指数族
机器学习
2021-11-16 v2 机器学习
摘要
注意力机制通过对数据表示按概率权重取期望来生成聚焦于重要特征的汇总统计量。最近,(Martins 等人 2020, 2021)提出了连续注意力机制,关注指数族与形变指数族中的单峰注意力密度:后者具有稀疏支撑。(Farinhas 等人 2021)将其扩展为使用高斯混合注意力密度,这是一类具有稠密支撑的灵活模型。在本文中,我们将其扩展为两类通用的灵活模型:核指数族以及我们提出的新的稀疏对应模型——核形变指数族。理论上,我们给出了核指数族与形变指数族新的存在性结果,并证明形变情形具有与核指数族相近的逼近能力。实验表明,核形变指数族能够关注数据域的多个紧致区域。
引用
@article{arxiv.2111.01222,
title = {Kernel Deformed Exponential Families for Sparse Continuous Attention},
author = {Alexander Moreno and Supriya Nagesh and Zhenke Wu and Walter Dempsey and James M. Rehg},
journal= {arXiv preprint arXiv:2111.01222},
year = {2021}
}