高保真可视化自监督表示所掌握的信息
机器学习
2022-08-17 v2 人工智能
摘要
发现神经网络学习到了什么仍然是一项挑战。在自监督学习中，分类是用于评估表示质量的最常见任务。然而，仅依赖此类下游任务可能会限制我们对给定输入的表示中保留了什么信息的理解。在这项工作中，我们展示了使用表示条件扩散模型（RCDM）在数据空间中可视化自监督模型学习到的表示。使用 RCDM 的动机在于其能够生成高质量样本——与 SOTA 生成模型相当——同时确保这些样本的表示是忠实的，即接近用于条件化的表示。通过使用 RCDM 分析自监督模型，我们能够在视觉上清晰地表明： SSL（骨干网络）表示对其训练时所用的数据增强并非不变的——从而推翻了一个经常被重申但错误的观点； SSL 投影后嵌入确实对这些数据增强以及许多其他数据对称性表现出不变性； 与监督方式训练的表示相比，SSL 表示对其输入的微小对抗扰动表现出更强的鲁棒性； SSL 训练的表示展现出一种固有结构，该结构可通过 RCDM 可视化进行探索并实现图像操作。
引用
@article{arxiv.2112.09164,
title = {High Fidelity Visualization of What Your Self-Supervised Representation Knows About},
author = {Florian Bordes and Randall Balestriero and Pascal Vincent},
journal= {arXiv preprint arXiv:2112.09164},
year = {2022}
}
备注
Accepted at TMLR 2022