L2T-DLN：基于动态损失网络的学习施教
人工智能
2023-10-31 v1 机器学习
摘要
随着施教概念被引入机器学习社区，教师模型开始使用动态损失函数来指导学生学习模型的训练。动态旨在为学生模型学习的不同阶段设定自适应损失函数。在现有工作中，教师模型1）仅基于学生模型的当前状态确定损失函数，即忽视教师的经验；2）仅利用学生模型的状态（如训练迭代次数及来自训练/验证集的损失/准确率），而忽略损失函数的状态。在本文中，我们首先通过将损失调整建模为一个时序任务并设计带记忆单元的教师模型，从而使学生学习能够受教师模型经验的引导。随后，借助动态损失网络，我们可额外利用损失的状态来辅助教师学习，增强教师与学生模型间的交互。大量实验表明，我们的方法能够促进学生学习和提升多种深度模型在真实世界任务（包括分类、目标检测与语义分割场景）上的性能。
引用
@article{arxiv.2310.19313,
title = {L2T-DLN: Learning to Teach with Dynamic Loss Network},
author = {Zhoyang Hai and Liyuan Pan and Xiabi Liu and Zhengzheng Liu and Mirna Yunita},
journal= {arXiv preprint arXiv:2310.19313},
year = {2023}
}