谁教你做这个？追踪模型蒸馏中的教师

模型蒸馏——使用大型教师模型的输出来教导小型学生模型——是创建特定任务高效模型的实用方法。我们问：我们能否基于其输出识别学生的教师？这种由教师LLM留下的"足迹"是有趣的文物。除此之外，可靠的教师推断可能具有实际意义，因为行为者寻求将大型专有LLM的特定能力蒸馏到部署的较小语言模型，这可能违反服务条款。我们考虑实际的蒸馏目标，包括摘要生成、问答和指令遵循。我们假设一组有限的候选教师模型，这些模型我们将作为黑盒子处理。我们设计针对词汇特征的判别模型。我们发现，仅凭n-gram相似性无法可靠地识别教师，但学生模型偏好的词性(PoS)模板模仿其教师的模板。