预处理与压缩：通过固有维度理解跨成像领域的隐藏表示精炼
计算机视觉与模式识别
2024-10-22 v4 机器学习
图像与视频处理
机器学习
摘要
近年来，人们对神经网络隐藏表示的几何属性（如固有维度 ID）如何通过其层变化，以及这些属性如何预测重要的模型行为（如泛化能力）产生了兴趣。然而，已有证据表明，此类行为可能因网络训练数据的领域而显著变化，例如自然图像与医学图像。在这里，我们进一步探讨了网络的所学表示的 ID 如何通过其层变化，本质上刻画了网络如何 successive 地精炼输入数据的信息内容以用于预测。分析十一个自然图像和医学图像数据集上的六种网络架构，我们发现 ID 在网络中的变化在自然图像模型和医学图像模型之间存在明显差异。具体而言，医学图像模型在网络中更早达到表示 ID 的峰值，这意味着这些领域用于下游任务的图像特征及其抽象性存在差异。此外，我们发现这一峰值表示 ID 与输入空间中数据的 ID 之间存在强相关性，这意味着模型所学表示的内在信息内容受其训练数据的引导。总体而言，我们的发现强调了自然与非自然成像领域之间网络行为在隐藏表示信息内容方面的显著差异，并为网络的所学特征如何受其训练数据塑造提供了进一步的见解。
引用
@article{arxiv.2408.08381,
title = {Pre-processing and Compression: Understanding Hidden Representation Refinement Across Imaging Domains via Intrinsic Dimension},
author = {Nicholas Konz and Maciej A. Mazurowski},
journal= {arXiv preprint arXiv:2408.08381},
year = {2024}
}
备注
Published in NeurIPS 2024 Workshop on Scientific Methods for Understanding Deep Learning (SciForDL)