通过结合人类 EEG 协同训练物体识别模型在对抗鲁棒性上获得有限但一致的提升
机器学习
2024-12-16 v2 人工智能
人机交互
摘要
与人类视觉相比，人工神经网络 (ANNs) 仍然相对容易受到对抗攻击的影响。为了解决这一脆弱性，研究人员一直致力于将归纳偏置从人类大脑迁移到 ANN 中，通常通过训练 ANN 的表示以匹配其生物学对应物来实现。以往的工作依赖于在啮齿动物或灵长类动物身上使用侵入性技术获取的大脑数据，这些数据来自大脑的特定区域，处于非自然条件下（麻醉动物），且刺激数据集缺乏多样性和自然性。在本文中，我们探索了将模型表示与人类对丰富真实世界图像的 EEG 反应对齐是否能增强 ANN 的鲁棒性。具体而言，我们在分类和 EEG 预测的双重任务上训练了 ResNet50 主干模型；并评估了它们的 EEG 预测准确率和对对抗攻击的鲁棒性。我们观察到，网络的 EEG 预测准确率（通常在刺激呈现后约 100 ms 处达到最高）与其对抗鲁棒性的提升之间存在显著相关性。尽管效应量有限，但在不同的随机初始化下效果是一致的，并且对于架构变体也具有鲁棒性。我们进一步分析了来自单个 EEG 通道的数据，观察到顶枕区电极的贡献最强。人类 EEG 在此类任务中展现出的效用，为未来扩展至更大数据集和多样化刺激条件的研究开辟了道路，并有望带来更强的效应。
引用
@article{arxiv.2409.03646,
title = {Limited but consistent gains in adversarial robustness by co-training object recognition models with human EEG},
author = {Manshan Guo and Bhavin Choksi and Sari Sadiya and Alessandro T. Gifford and Martina G. Vilas and Radoslaw M. Cichy and Gemma Roig},
journal= {arXiv preprint arXiv:2409.03646},
year = {2024}
}
备注
accepted as ECCV HCV workshop 2024 oral presentation