Multihop：利用复杂模型学习精确简单模型

将性能优异的复杂模型中的知识迁移到更简单且可能性能较低的模型以提升其表现，近年来备受关注，因为在可解释人工智能、模型压缩、鲁棒模型构建以及小数据学习等重要问题中均有应用。针对该问题的已知方法（如知识蒸馏、模型压缩、ProfWeight 等）通常通过修改目标或在简单模型所训练的样例上重新加权等方案，将信息直接从复杂模型迁移到选定的简单模型（即单跳/one hop）。本文提出一种元方法，通过动态选择或构建一系列复杂度递减、比原始复杂模型更不复杂的中间模型序列，将信息从复杂模型迁移到简单模型。我们的方法可使用上述任一已有方法在序列中相邻模型间传递信息，也可按单跳方式工作，从而对这些方法进行推广。在真实数据的实验中，我们观察到对于不同模型选择，相比单跳均获得稳定提升，平均超过 2%，在特定情况下可达 8%。我们还从经验上分析了多跳方法相比传统单跳方法可能有益的条件，并报告了其他有趣发现。据我们所知，这是首个在给定单一高性能复杂模型下提出此类多跳知识迁移方法的工作，我们认为这是一项重要的方法论贡献。