通过Kronecker分解近似曲率实现任务算术中的无数据权重解缠

任务算术提供了一种模块化、可扩展的方式来适配基础模型。然而，组合多个任务向量可能导致跨任务干扰，引起表征漂移和性能下降。表征漂移正则化为解缠任务向量提供了一种自然的补救措施；然而，现有方法通常需要外部任务数据，这与模块化和数据可用性约束（例如隐私要求）相冲突。我们提出了一种无数据方法，将针对表征漂移的正则化问题框架化为曲率矩阵近似问题。这使我们能够利用成熟的技术；特别是，我们采用Kronecker分解近似曲率(Kronecker-Factored Approximate Curvature, K-FAC)，并获得了一个实用的正则化器，该正则化器在任务加法和否定中实现了最先进的结果。我们的方法在任务数量上具有恒定的复杂度，并增强了对任务向量重新缩放的鲁棒性，从而消除了对保留调优的需求。