Transformer 学习低敏感度函数：调查与启示
机器学习
2025-02-14 v2 人工智能
计算与语言
机器学习
摘要
Transformer 在许多任务中实现了最先进的准确率和鲁棒性，但对其归纳偏置以及这些偏置如何区别于其他神经网络架构的理解仍然欠缺。在本工作中，我们将模型对输入中逐 token 随机扰动的敏感度识别为一个统一指标，该指标解释了 Transformer across 不同数据模态的归纳偏置，并将其与其他架构区分开来。我们表明，在视觉和语言任务中，Transformer 的敏感度均低于 MLP、CNN、ConvMixer 和 LSTM。我们还表明，这种低敏感度偏置具有重要启示：i) 较低的敏感度与增强的鲁棒性相关；它也可用作一种高效的干预手段以进一步提升 Transformer 的鲁棒性；ii) 它对应于损失景观中更平坦的极小值；iii) 它可以作为 grokking 的进度度量。我们通过理论结果支持这些发现，展示了 NTK 机制下 Transformer 的（弱）谱偏置，以及由于较低敏感度带来的鲁棒性提升。代码 available at https://github.com/estija/sensitivity。
引用
@article{arxiv.2403.06925,
title = {Transformers Learn Low Sensitivity Functions: Investigations and Implications},
author = {Bhavya Vasudeva and Deqing Fu and Tianyi Zhou and Elliott Kau and Youqi Huang and Vatsal Sharan},
journal= {arXiv preprint arXiv:2403.06925},
year = {2025}
}
备注
ICLR 2025. 24 pages, 19 figures, 3 tables