注意力归一化影响 Slot Attention 的基数泛化能力
计算机视觉与模式识别
2024-11-12 v2
摘要
以对象为中心的场景分解是计算机视觉和机器人等领域下游任务的重要表示。最近提出的 Slot Attention 模块是一种深度学习组件，可对输入图像执行无监督的以对象为中心的场景分解，已被多个衍生工作用于图像分割和视频中的目标跟踪。它基于一种注意力架构，其中保存对象压缩信息的潜在 slot 向量对来自输入图像的局部感知特征进行注意力操作。在本文中，我们证明了关于归一化注意力架构中聚合值的设计决策对 Slot Attention 泛化至训练期间未见过的更多 slot 和对象数量的能力具有相当大的影响。我们提出并研究了原始归一化方案的替代方案，这些方案提高了 Slot Attention 对不同 slot 和对象数量的泛化能力，从而在无监督图像分割任务上带来了性能提升。新提出的归一化方法对常规 Slot Attention 模块进行了极小且易于实现的修改，将值聚合机制从加权平均操作更改为缩放加权和操作。
引用
@article{arxiv.2407.04170,
title = {Attention Normalization Impacts Cardinality Generalization in Slot Attention},
author = {Markus Krimmel and Jan Achterhold and Joerg Stueckler},
journal= {arXiv preprint arXiv:2407.04170},
year = {2024}
}
备注
30 pages