探讨子任务蒸馏在虚假关联下的鲁棒性

子任务蒸馏是一种新兴范式，从大型通用"基础模型"中提取紧凑、专业化模型以部署在资源有限的环境或独立计算机系统中。在蒸馏过程中，虽然依赖教师模型，但仍依赖于往往规模有限且可能缺乏代表性或存在虚假关联的数据集。本文评估了在使用存在虚假关联的数据进行蒸馏时，既有的 established 蒸馏方法以及最近的 SubDistill 方法。随着关联强度的增加，我们观察到高级方法如 SubDistill 保持较强鲁棒性，而某些基线方法则退化为接近随机水平的性能。总体而言，本研究强调了在应用于不完美的真实世界数据集，特别是存在虚假关联的数据集时，知识蒸馏面临的挑战。