平滑化槽注意力迭代与递归

槽注意力（Slot Attention, SA）是主流对象中心学习（Object-Centric Learning, OCL）中的核心组件。图像特征通过迭代细化冷启动查询槽来聚合为对象级别的表示。对于视频，此聚合通过在帧之间共享的递归注意力进行，查询在第一帧上进行冷启动，而在后续帧中则从上一帧的槽位转换而来。然而，冷启动查询缺乏样本特定的线索，导致在图像或视频的第一帧上无法进行精确的聚合；而非第一帧的查询已经是样本特定的，因此需要与第一帧不同的聚合变换。我们提出的SmoothSA方法通过以下方式解决这些问题：（1）通过在OCL内部自蒸馏的微型模块为冷启动查询提供丰富的输入特征信息，以平滑化图像或视频第一帧的注意力迭代；（2）分别使用完整迭代和单次迭代，对不同于第一帧的聚合变换进行差别化处理，以平滑化视频中第一帧与非第一帧的递归过程。针对对象发现、识别和视觉推理进行了全面实验，验证了我们方法的有效性。进一步的可视化分析揭示了底层机制。我们提供了源代码、模型检查点和训练日志，链接为https://github.com/Genera1Z/SmoothSA。