由引导扩散模型实现的特征空间分析
计算机视觉与模式识别
2025-09-30 v2 图像与视频处理
摘要
深度神经网络(DNN)内部特征提取过程的黑箱特性是其关键问题之一。针对视觉相关领域，本文提出一种解码器，能够生成特征与用户指定特征高度匹配的图像。凭借这种保证（过去研究所缺乏的保证），我们的解码器允许我们证据 various 图像属性是否编码到用户指定的特征中。我们的解码器实现为引导扩散模型，通过引导预训练扩散模型的反向图像生成，以最小化干净图像在每一步估计的特征与用户指定特征之间的欧几里得距离。我们解码器的一个实用优势是能够无需额外训练即可分析不同 DNN 的特征空间，并在单个 COTS GPU 上运行。针对 CLIP 图像编码器、ResNet-50 和视觉变换器的实验结果表明，我们的解码器生成的图像特征与用户指定特征高度相似，并揭示了这些 DNN 特征空间的宝贵见解。
引用
@article{arxiv.2509.07936,
title = {Feature Space Analysis by Guided Diffusion Model},
author = {Kimiaki Shirahama and Miki Yanobu and Kaduki Yamashita and Miho Ohsaki},
journal= {arXiv preprint arXiv:2509.07936},
year = {2025}
}
备注
37 pages, 13 figures, codes: https://github.com/KimiakiShirahama/FeatureSpaceAnalysisByGuidedDiffusionModel