CLIP-Dissect：深度视觉网络神经元表征的自动描述方法
计算机视觉与模式识别
2023-06-06 v5 人工智能
机器学习
摘要
在本文中，我们提出 CLIP-Dissect，一种自动描述视觉网络内部单个隐藏神经元功能的新技术。CLIP-Dissect 利用多模态视觉/语言模型的最新进展，用开放式概念标注内部神经元，无需任何标注数据或人类示例。我们表明，在存在可用真实标注的最后一层神经元上，CLIP-Dissect 比现有方法提供更准确的描述，并对隐藏层神经元提供定性良好的描述。此外，我们的方法非常灵活：它与模型无关，可轻松处理新概念，并可扩展以在未来利用更好的多模态模型。最后，CLIP-Dissect 计算高效，仅需 4 分钟即可标注 ResNet-50 五层中的所有神经元，比现有方法快 10 倍以上。我们的代码可在 https://github.com/Trustworthy-ML-Lab/CLIP-dissect 获取。最后，众包用户研究结果见附录 B，以进一步支持我们方法的有效性。
引用
@article{arxiv.2204.10965,
title = {CLIP-Dissect: Automatic Description of Neuron Representations in Deep Vision Networks},
author = {Tuomas Oikarinen and Tsui-Wei Weng},
journal= {arXiv preprint arXiv:2204.10965},
year = {2023}
}
备注
Published in ICLR 2023 Conference (Spotlight). New v5(5 June 2023) - Added crowdsourced user study in Appendix B, not included in ICLR publication