通过迭代构造扰动的自蒸馏
机器学习
2025-05-22 v1 人工智能
新兴技术
摘要
深度神经网络在 various 领域取得了显著的成就，但在训练这些网络时平衡性能和泛化能力仍然是一个挑战。本文提出了一种新框架，使用循环优化策略同时优化模型和其输入数据以获得更好的训练，重新思考传统训练范式。我们方法的核心是迭代构造扰动(ICP)，它利用模型的损失函数对输入进行迭代扰动，逐步构建增强的表示。该 ICP 输入随后反馈到模型中以产生改进的中间特征，这些特征作为自蒸馏框架中原始特征的目标。通过交替改变模型参数相对于数据和数据相对于模型，我们的方法有效地解决了拟合与泛化之间的差距，导致性能提升。广泛的实验表明，我们的方法不仅缓解了神经网络中常见的性能瓶颈，也在各种训练变体中显示出显著的改进。
引用
@article{arxiv.2505.14751,
title = {Self Distillation via Iterative Constructive Perturbations},
author = {Maheak Dave and Aniket Kumar Singh and Aryan Pareek and Harshita Jha and Debasis Chaudhuri and Manish Pratap Singh},
journal= {arXiv preprint arXiv:2505.14751},
year = {2025}
}