用于对话生成的异质分支协同学习

随着深度学习的发展，先进的对话生成方法通常需要更多的计算资源。获得高性能轻量模型的一种有前景的方法是知识蒸馏，其严重依赖预训练的强大教师模型。协同学习，亦称在线知识蒸馏，是在缺乏训练良好的大型教师模型时进行一站式群体蒸馏的有效方式。然而，先前工作因相同的训练目标与独立同分布的训练集而存在严重的分支同质性问题。为缓解该问题，我们在网络分支训练中考虑对话属性。各分支基于所选子集学习属性相关特征。此外，我们提出一种基于双群体的知识蒸馏方法，由正蒸馏与负蒸馏组成，以稳定且可解释的方式进一步使不同分支的特征多样化。所提方法显著改善了分支异质性，并在两个广泛使用的开放域对话数据集上优于最先进的协同学习方法。