通过模式连通性理解机器无学习

机器无学习旨在从训练好的模型中去除不希望的信息,而无需从头重新训练。尽管近期取得了进展,但其背后的损失景观和优化动力学受到较少关注。本文通过模式连通性——即独立训练的模型可通过参数空间中平滑低损失路径相互连接的现象——来 investigate 和分析机器无学习。我们定义并研究了无学习中的模式连通性,包括不同无学习方法之间的连接、带或不带课程学习训练的模型之间的连接、以及使用一阶和二阶技术优化的模型之间的连接。我们的发现显示,在曲线上不同评估指标的不同波动模式,以及无学习方法之间的机制(不)相似性。据我们所知,这是首次针对机器无学习研究模式连通性。