N-simplicial 注意力的平滑性分析
机器学习
2025-12-18 v1 人工智能
摘要
从纯多层感知器（MLP）转向每层可学习的图消息传递机制，是虽然计算权衡（例如 GAT 或 Transformer）却取得了最新结果的关键步骤。为进一步推进，我们引入 N-simplicial 注意力，由此将二元 token 相似性扩展至更高阶相互作用，并其适用于旋转位置嵌入（RoPE）。为管理计算复杂度的增加，我们提出一种成本效益高的单形体选择，使模型能够将计算资源集中于更具任务敏感性的相互作用。除上述核心机制外，我们研究了 N-simplicial 注意力的平滑性，通过推导 Lipschitz 上界并演示即使如此，它本身也存在过平滑问题，尽管这将注意力消息传递引入更高阶相互作用。
引用
@article{arxiv.2512.15600,
title = {How Smoothing is N-simplicial Attention?},
author = {Alexandre Dussolle and Pietro Liò},
journal= {arXiv preprint arXiv:2512.15600},
year = {2025}
}
备注
arXiv preprint