无启发式多教师学习
机器学习
2025-01-27 v2 人工智能
计算机视觉与模式识别
摘要
我们引入了 Teacher2Task，一种用于多教师学习的新颖框架，消除了对人工聚合启发式的需求。现有的多教师方法通常依赖此类启发式来结合多个教师的预测，往往导致次优的聚合标签和聚合误差的传播。Teacher2Task 通过引入特定于教师的输入标记并重新表述训练过程来解决这些局限性。该框架不依赖聚合标签，而是将包含真实标签和来自 N 个教师注释的训练数据转换为 N+1 个不同的任务：N 个预测 N 个独立教师标注风格的辅助任务，以及一个专注于真实标签的主任务。这种方法借鉴了多种学习范式的原理，在一系列架构、模态和任务上展现了强大的实证结果。
引用
@article{arxiv.2411.12724,
title = {Heuristic-Free Multi-Teacher Learning},
author = {Huy Thong Nguyen and En-Hung Chu and Lenord Melvix and Jazon Jiao and Chunglin Wen and Benjamin Louie},
journal= {arXiv preprint arXiv:2411.12724},
year = {2025}
}