平滑性是鲁棒性的关键吗？使用新指标比较注意力模型和卷积模型
机器学习
2024-11-26 v2
摘要
鲁棒性是机器学习模型的一个关键方面。现有的鲁棒性评估方法通常缺乏理论普适性，或严重依赖经验评估，限制了对促成鲁棒性的结构因素的洞察。此外，理论鲁棒性分析不适用于模型之间的直接比较。为了应对这些挑战，我们提出了，一种基于逐层分析的指标，它桥接了拓扑数据分析与Lipschitz连续性，用于鲁棒性评估。TopoLip为不同架构或配置下的理论和经验鲁棒性比较提供了一个统一框架，并揭示了模型参数如何影响模型的鲁棒性。使用TopoLip，我们证明了基于注意力的模型通常比基于卷积的模型表现出更平滑的变换和更强的鲁棒性，这一点通过理论分析和对抗性任务得到了验证。我们的研究结果建立了架构设计、鲁棒性和拓扑性质之间的联系。
引用
@article{arxiv.2410.17628,
title = {Is Smoothness the Key to Robustness? A Comparison of Attention and Convolution Models Using a Novel Metric},
author = {Baiyuan Chen},
journal= {arXiv preprint arXiv:2410.17628},
year = {2024}
}