具有注意力机制以建模上下文特定独立性的图模型及其在感知分组中的应用
机器学习
2021-12-08 v1 计算机视觉与模式识别
摘要
离散无向图模型，又称马尔可夫随机场（MRFs），能够灵活地编码多个变量的概率交互，并已成功应用于广泛的问题。然而，离散 MRFs 一个众所周知却鲜有研究的局限是它们无法捕捉上下文特定独立性（CSI）。现有方法需要精心发展的理论与专门构建的推断方法，这将其应用限制在仅小规模问题上。本文提出马尔可夫注意力模型（MAM），一类融合了注意力机制的离散 MRFs。该注意力机制使变量能够动态地关注某些其他变量而忽略其余变量，并使得在 MRFs 中捕捉 CSI 成为可能。MAM 被表述为一个 MRF，从而能够受益于丰富的现有 MRF 推断方法，并扩展到大型模型与数据集。为展示 MAM 在大规模下捕捉 CSI 的能力，我们将 MAMs 应用于捕捉感知分组中循环计算的符号方法所存在的一类重要 CSI。在两个近期提出的合成感知分组任务及真实图像上的实验表明，与强大的循环神经网络基线相比，MAMs 在样本效率、可解释性与泛化性上具有优势，并验证了 MAM 在大规模下高效捕捉 CSI 的能力。
引用
@article{arxiv.2112.03371,
title = {Graphical Models with Attention for Context-Specific Independence and an Application to Perceptual Grouping},
author = {Guangyao Zhou and Wolfgang Lehrach and Antoine Dedieu and Miguel Lázaro-Gredilla and Dileep George},
journal= {arXiv preprint arXiv:2112.03371},
year = {2021}
}