无监督模型树 heritage 恢复

在线上共享的模型数量近年来急剧增长，超过100万个公开模型可在Hugging Face上获得。共享模型允许其他用户使用现有模型作为微调初始化，提高准确率，节省计算和能源。然而，这也引发了重要的知识产权问题，因为微调可能违反原始模型或其训练数据的许可条款。模型树（Model Tree），即以基础模型为根，具有指向父模型和其他直接微调的模型（子代）之间的有向边的树形数据结构，将解决此类争议，通过使模型 heritage显式化。不幸的是，当前模型文档不完整，大多数模型元数据（如"model cards"）未提供关于heritage的准确信息。本文引入了用于神经网络集合的无监督模型树 heritage 恢复（Unsupervised MoTHer Recovery）任务。该任务要求：i) 确定两个模型是否直接相关，ii) 建立关系的方向。我们的假设是模型权重编码了此类信息，挑战在于解码给定权重的底层树结构。我们发现若干模型权重属性允许我们完成此任务。通过运用这些属性，我们将MoTHer恢复任务形式化为寻找有向最小生成树。在大量实验中，我们展示了该方法成功重建了复杂的模型树。