对比世界模型的泛化特性
机器学习
2024-01-02 v1 计算机视觉与模式识别
摘要
近期关于以对象为中心的世界模型的研究旨在以完全无监督或自监督的方式将表示分解为对象。此类世界模型被认为是解决泛化问题的关键组成部分。然而，尽管自监督已显示出性能提升，但分布外（OOD）泛化尚未得到系统和明确的测试。在本文中，我们对对比世界模型的泛化特性进行了广泛研究。我们在多种不同的 OOD 泛化场景下系统地测试了该模型，例如外推至新对象属性、引入新合取或新属性。我们的实验表明，对比世界模型在不同的 OOD 测试下无法泛化，且性能下降程度取决于样本偏离分布的程度。通过可视化转移更新和卷积特征图，我们观察到对象属性的任何变化（如以前未见过的颜色、形状或颜色与形状的合取）都会破坏对象表示的分解。总体而言，我们的工作强调了以对象为中心的表示对泛化的重要性，而当前模型在学习人类水平泛化所需此类表示的能力上是有限的。
引用
@article{arxiv.2401.00057,
title = {Generalization properties of contrastive world models},
author = {Kandan Ramakrishnan and R. James Cotton and Xaq Pitkow and Andreas S. Tolias},
journal= {arXiv preprint arXiv:2401.00057},
year = {2024}
}
备注
Accepted at the NeurIPS 2023 Workshop: Self-Supervised Learning - Theory and Practice