在不共享数据的情况下共享知识： stitch可以提高分离训练模型的集成

深度学习已被证明在执行许多实际任务方面非常有能力。然而，这种性能往往取决于大规模且多样化的数据集的存在。在某些设置下，如医疗领域，数据常常分散在各方之间，难以共享。虽然联邦学习解决了这一问题，但它是一种需要各方同步训练单个模型并交换模型权重信息的解决方案。我们研究了仅共享已训练模型(例如作为出版物的一部分)的异步协作对性能的影响，并提出使用stitch方法来组合模型。通过采用多目标视角，将每个方数据上的性能视为独立地，我们发现仅在单个方数据上训练的结果在合并到另一个方数据时，与在该单个方数据上的性能相似，而对其他方数据上的性能则明显更差。此外，虽然这些各自训练的网络的集成在一般化方面表现更好，但对每个方自身数据集的性能受损。我们发现，通过将各自训练模型中的中间表示与一个恰当放置的stitch层组合，允许这种性能在保持改进的一般化的同时，恢复到可竞争的水平，表明异步协作可以产生具有竞争力的结果。