微调 Vision Transformer 以预测 Ising 模型中的状态变量
计算机视觉与模式识别
2021-12-01 v2 统计力学
机器学习
计算物理
摘要
Transformer 是最先进的深度学习模型，由堆叠的注意力层和逐点全连接层组成，专为处理序列数据而设计。Transformer 不仅在自然语言处理（NLP）中无处不在，而且最近还激发了一波计算机视觉（CV）应用研究。在这项工作中，我们应用 Vision Transformer（ViT）来预测二维 Ising 模型模拟的状态变量。我们的实验表明，当使用对应于不同边界条件和温度的少量 Ising 模型微观态图像时，ViT 的性能优于最先进的卷积神经网络（CNN）。这项工作开辟了将 ViT 应用于其他模拟的可能性，并提出了关于注意力图如何学习支配不同现象的底层物理的有趣研究方向。
引用
@article{arxiv.2109.13925,
title = {Fine-tuning Vision Transformers for the Prediction of State Variables in Ising Models},
author = {Onur Kara and Arijit Sehanobish and Hector H Corzo},
journal= {arXiv preprint arXiv:2109.13925},
year = {2021}
}
备注
Accepted at Ml4Physical Sciences Workshop at Neurips 2021