利用大模型自动生成深度视觉神经元自然语言解释
计算机视觉与模式识别
2023-10-18 v1 人工智能
摘要
深度神经网络在广泛的真实世界任务中展现出卓越性能。然而，理解其生效的底层原因仍是一个具有挑战性的问题。通过检查神经元来解释深度神经网络，在探索神经网络内部运作机制方面具有独特优势。先前研究表明，深度视觉网络中的特定神经元具有语义含义，并在模型性能中发挥关键作用。尽管如此，当前生成神经元语义的方法严重依赖人工干预，这阻碍了它们的可扩展性与适用性。为应对这一局限，本文提出一种新颖的事后框架，利用大型基础模型生成神经元的语义解释，无需人工干预或先验知识。我们的框架设计为兼容各种模型架构与数据集，促进自动化且可扩展的神经元解释。实验通过定性与定量分析验证了我们提出方法的有效性。
引用
@article{arxiv.2310.10708,
title = {Automated Natural Language Explanation of Deep Visual Neurons with Large Models},
author = {Chenxu Zhao and Wei Qian and Yucheng Shi and Mengdi Huai and Ninghao Liu},
journal= {arXiv preprint arXiv:2310.10708},
year = {2023}
}