结构化输出正则化：少样本迁移学习框架
计算机视觉与模式识别
2025-10-13 v1 机器学习
机器学习
摘要
传统迁移学习通常通过冻结部分权重并添加任务特定层来重用大型预训练网络。虽然这种方法计算高效，但限制了模型适应于特定领域特征的能力，并且在数据极其有限时仍可能导致过拟合。为解决这些限制，我们提出结构化输出正则化（Structured Output Regularization，SOR），这是一种简单而有效的框架，冻结内部网络结构（如卷积滤波器），同时使用组合 L1 正则和组套 (group lasso) 惩罚。该框架通过最小化额外参数数目来针对特定数据进行定制，并且易于应用于各种网络组件，如卷积滤波器或神经网络中的各种模块，使其在迁移学习任务中具有广泛适用性。我们在三个少样本医学影像分类任务上评估了 SOR，使用 DenseNet121 和 EfficientNetB4 作为基础模型，与既定基准相比实现了具竞争力的结果。
引用
@article{arxiv.2510.08728,
title = {Structured Output Regularization: a framework for few-shot transfer learning},
author = {Nicolas Ewen and Jairo Diaz-Rodriguez and Kelly Ramsay},
journal= {arXiv preprint arXiv:2510.08728},
year = {2025}
}