Generalist++: 对抗训练中消除权衡的元学习框架
机器学习
2025-10-16 v1 人工智能
密码学与安全
摘要
尽管神经网络取得了快速进展，但它们仍高度脆弱，对对抗样本敏感，对于这种情况，对抗训练（AT）目前是最有效的防御手段。虽然对抗训练已被广泛研究，但其实际应用暴露出两个主要局限性：自然准确率与标准训练相比显著下降，且鲁棒性在不同规范约束下的攻击所设计的攻击之间难以良好迁移。不同于旨在单一网络中解决仅一个问题的先前工作，我们提出将整体泛化目标划分为多个子任务，每个子任务分配给专门的 base learner。通过在其指定目标上进行专业化，每个 base learner 迅速成为其领域的专家。在训练后期，我们插值其参数以形成一个有知识的全局 learner，同时定期将全局参数重新分配回 base learner，以防止其优化轨迹偏离共享目标。我们将其称为 Generalist，并引入三个针对不同应用场景的变体。理论分析和大量实验表明，Generalist 在一般化误差方面低于基线方法，并显著缓解了权衡问题。我们的结果表明，Generalist 为未来开发完全鲁棒分类器提供了有前景的一步。
关键词
引用
@article{arxiv.2510.13361,
title = {Generalist++: A Meta-learning Framework for Mitigating Trade-off in Adversarial Training},
author = {Yisen Wang and Yichuan Mo and Hongjun Wang and Junyi Li and Zhouchen Lin},
journal= {arXiv preprint arXiv:2510.13361},
year = {2025}
}