从教学中学习正则化：可泛化的相关性应易于模仿
机器学习
2024-11-01 v3 人工智能
摘要
泛化仍然是机器学习中的一个核心挑战。本文提出了一种新颖的正则化技术——从教学中学习（Learning from Teaching, LoT），用于深度神经网络以增强泛化能力。受人类捕捉简洁抽象模式能力的启发，我们假设可泛化的相关性应该更容易模仿。LoT通过辅助学生学习者来操作这一概念，以改善主模型的泛化能力。学生学习者由主模型训练，并反过来提供反馈，帮助主模型捕捉更可泛化和可模仿的相关性。我们在多个领域的实验结果，包括计算机视觉、自然语言处理以及强化学习等方法论，表明与在原始数据集上训练模型相比，引入LoT带来了显著的好处。结果显示了LoT在正确尺度上识别可泛化信息同时丢弃虚假数据相关性的有效性和效率，从而使LoT成为当前机器学习的有价值补充。代码可在https://github.com/jincan333/LoT获取。
引用
@article{arxiv.2402.02769,
title = {Learning from Teaching Regularization: Generalizable Correlations Should be Easy to Imitate},
author = {Can Jin and Tong Che and Hongwu Peng and Yiyuan Li and Dimitris N. Metaxas and Marco Pavone},
journal= {arXiv preprint arXiv:2402.02769},
year = {2024}
}