Rosetta 神经元：在模型动物园中挖掘公共单元
计算机视觉与模式识别
2023-06-19 v2
摘要
为不同视觉任务训练的各种神经网络是否共享某些公共表征？本文中，我们证明了在一系列具有不同架构、不同任务（生成式与判别式）和不同类型监督（类别监督、文本监督、自监督）的模型中存在称为“Rosetta 神经元”的公共特征。我们提出了一种在多个流行视觉模型中挖掘 Rosetta 神经元字典的算法：类别监督-ResNet50、DINO-ResNet50、DINO-ViT、MAE、CLIP-ResNet50、BigGAN、StyleGAN-2、StyleGAN-XL。我们的发现表明，某些视觉概念与结构天然嵌入于自然世界中，且可被不同模型学习，而与具体任务或架构无关，也无需使用语义标签。由于我们分析中包含了生成式模型，我们可以直接可视化共享概念。Rosetta 神经元促进了模型到模型的转换，实现了各种基于反演的操作，包括跨类别对齐、平移、缩放等，而无需专门训练。
引用
@article{arxiv.2306.09346,
title = {Rosetta Neurons: Mining the Common Units in a Model Zoo},
author = {Amil Dravid and Yossi Gandelsman and Alexei A. Efros and Assaf Shocher},
journal= {arXiv preprint arXiv:2306.09346},
year = {2023}
}
备注
Project page: https://yossigandelsman.github.io/rosetta_neurons/