使用固定随机分类器训练的深度神经网络模型在跨域迁移中表现更佳
摘要
近期发现的神经坍缩 (NC) 现象指出，深度神经网络 (DNN) 的最后一层权重在其训练的最终阶段会收敛到所谓的等角紧框架 (ETF) 单纯形。这种 ETF 几何结构等价于最后一层激活的类内变异性消失。受 NC 特性的启发，本文探讨了最后一层权重根据 ETF 固定的 DNN 模型的迁移能力。这种通过消除类协方差信息来强制类分离的方法，有效地提供了隐式正则化。我们表明，使用此类固定分类器训练的 DNN 模型显著提高了迁移性能，特别是在域外数据集上。在广泛的细粒度图像分类数据集上，我们的方法优于 i) 不执行任何协方差正则化的基线方法（最高提升 22%），以及 ii) 在整个训练过程中显式白化激活协方差的方法（最高提升 19%）。我们的研究结果表明，使用固定 ETF 分类器训练的 DNN 为改善跨域迁移学习提供了一种强有力的机制。
引用
@article{arxiv.2402.18614,
title = {Deep Neural Network Models Trained With A Fixed Random Classifier Transfer Better Across Domains},
author = {Hafiz Tiomoko Ali and Umberto Michieli and Ji Joong Moon and Daehyun Kim and Mete Ozay},
journal= {arXiv preprint arXiv:2402.18614},
year = {2024}
}
备注
ICASSP 2024. Copyright 2024 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other