iMacHSR：一种面向架构无关训练的中间层多接入异构监督与正则化方案
机器人学
2025-08-05 v2
摘要
虽然深度监督是一种通过辅助损失监督中间层的强大训练策略，但它面临三个未被充分探索的问题：（I）现有的深度监督技术通常与特定的模型架构严格绑定，缺乏通用性。（II）中间层和输出层使用相同的损失函数，导致中间层过早地优先考虑输出特定的特征，限制了泛化表示。（III）缺乏对隐藏激活的正则化可能导致过度自信的预测，降低对未见场景的泛化能力。为了解决这些挑战，我们提出了一种架构无关的中间多接入异构监督与正则化（iMacHSR）方案。具体来说，所提出的iMacHSR引入了以下整体策略：（I）我们基于预定义的架构无关标准选择多个中间层；（II）对这些选定的中间层应用与输出层损失不同的损失函数，这可以引导中间层学习多样化和层次化的表示；（III）对选定层的隐藏特征进行负熵正则化，以抑制过度自信的预测并减轻过拟合。这些中间项被组合到输出层训练损失中，形成一个统一的优化目标，从而实现在网络层次结构上的全面优化。然后，我们以语义理解任务为例来评估iMacHSR，并将iMacHSR应用于几种模型架构。在多个数据集上的大量实验表明，iMacHSR在mIoU上优于传统的输出层单点监督方法，最高可达9.19%。
引用
@article{arxiv.2505.00404,
title = {iMacHSR: Intermediate Multi-Access Heterogeneous Supervision and Regularization Scheme Toward Architecture-Agnostic Training},
author = {Wei-Bin Kou and Guangxu Zhu and Yichen Jin and Bingyang Cheng and Shuai Wang and Ming Tang and Yik-Chung Wu},
journal= {arXiv preprint arXiv:2505.00404},
year = {2025}
}
备注
9 pages