翻译课堂：在广义类别发现中对齐教师注意力与学生注意力
计算机视觉与模式识别
2024-10-28 v2
摘要
最近的进展显示，将传统的半监督学习策略应用于广义类别发现 (GCD) 任务具有前景。通常，这涉及教师-学生框架，其中教师向学生传递知识以进行类别分类，即使没有明确标签。在 GCD 中，独特的挑战在于缺乏对新类的先验信息，这可能导致教师误导并与学生学习不同步，最终导致次优结果。在本工作中，我们深入探讨了为何传统的教师-学生设计在开世界广义类别发现中不如在封闭世界半监督学习中成功。我们识别出注意力层之间模式学习不一致是这一问题的根本原因，提出 FlipClass 方法，通过动态更新教师以与学生的注意力一致，而不是维持静态的教师参考。我们的教师-学生注意力对齐策略从能量角度基于学生反馈细化教师的关注，以促进旧类和新类之间一致的模式识别和同步学习。广泛的实验表明，FlipClass 在多个基准测试上均显著优于当代 GCD 方法，为该领域树立了新的标准。
引用
@article{arxiv.2409.19659,
title = {Flipped Classroom: Aligning Teacher Attention with Student in Generalized Category Discovery},
author = {Haonan Lin and Wenbin An and Jiahao Wang and Yan Chen and Feng Tian and Mengmeng Wang and Guang Dai and Qianying Wang and Jingdong Wang},
journal= {arXiv preprint arXiv:2409.19659},
year = {2024}
}
备注
Accepted by NeurIPS 2024 (Oral)