神经网络模型合并的冲突自由复制数据类型：26种合并策略的双层架构
分布式、并行与集群计算
2026-05-20 v1 人工智能
机器学习
摘要
我们测试的全部26种神经网络合并策略，包括权平均、SLERP、TIES、DARE、Fisher合并和进化方法——均未能满足冲突自由分布式操作所需的代数属性（交换性、结合性、幂等性）。我们证明了这种失败是结构性的：基于归一化的合并无法同时满足这三个属性。为解决此问题，我们提出了双层架构——CRDTMergeState——将任何合并策略包装在冲突自由复制数据类型（CRDT）兼容层中。层1通过OR-Set CRDT语义管理贡献，其中合并操作为集合联合——在交换性、结合性和幂等性方面均为平凡。层2将合并策略作为确定性纯函数应用于按规范顺序排列的贡献集合，并使用Merkle根作为随机种子。我们证明了这种分离保证了强最终一致性：无论消息排序，所有接收相同贡献的副本都会计算出相同的合并模型。经验验证涵盖三个层级：受控4x4张量（104/104测试通过），生产规模模型最高达72亿参数（208个策略级测试，43368个层级属性检查在限定张量分辨率下），以及在 gossip 和分区恢复下的多节点收敛（100个节点，20种排序），CRDT开销低于0.5毫秒。由于包装器是透明的，下游性能在构建上即相同，经字节级相同性验证确认。参考实现已作为 crdt-merge v0.9.4 提供。
引用
@article{arxiv.2605.19373,
title = {Conflict-Free Replicated Data Types for Neural Network Model Merging: A Two-Layer Architecture Enabling CRDT-Compliant Model Merging Across 26 Strategies},
author = {Ryan Gillespie},
journal= {arXiv preprint arXiv:2605.19373},
year = {2026}
}