Slot-VAE：基于槽注意力的以对象为中心场景生成
计算机视觉与模式识别
2024-02-14 v2
摘要
槽注意力在计算机视觉任务中已展现出卓越的以对象为中心表示学习性能，且无需任何监督。尽管其通过组合建模带来的以对象为中心绑定能力，但作为一个确定性模块，槽注意力缺乏生成新场景的能力。本文中，我们提出 Slot-VAE，一种将槽注意力与分层 VAE 框架集成的生成模型，用于以对象为中心的结构化场景生成。对每幅图像，模型同时推断全局场景表示以捕获高层场景结构，以及以对象为中心的槽表示以嵌入单个对象组件。在生成期间，槽表示由全局场景表示生成以确保连贯场景结构。我们对场景生成能力的广泛评估表明，Slot-VAE 在样本质量与场景结构准确性方面优于基于槽表示的生成基线。
引用
@article{arxiv.2306.06997,
title = {Slot-VAE: Object-Centric Scene Generation with Slot Attention},
author = {Yanbo Wang and Letao Liu and Justin Dauwels},
journal= {arXiv preprint arXiv:2306.06997},
year = {2024}
}
备注
ICML 2023 https://proceedings.mlr.press/v202/wang23r.html