变压器模型与循环神经网络在路径依赖复合材料中的比较研究
计算物理
2026-03-03 v1 材料科学
机器学习
摘要
短纤维增强复合材料（SFRCs）的精确建模在全场仿真中仍昂贵。数据驱动的替代模型使用人工神经网络（ANNs）被提出作为高效的数值建模替代方案，其中循环神经网络（RNNs）正越来越被用于通过预测代表体积单元（RVE）的均匀化响应进行路径依赖的多尺度建模。然而，最近develop的变压器模型提供了可扩展性和高效并行化，尚未在该领域中系统性地与 RNNs 进行比较。本研究对比了在 SFRC RVEs 的均匀化响应序列上训练的 RNNs 与变压器模型。我们研究了两种类型的超参数的影响，即架构超参数（如 GRU 层数、隐藏大小、注意力头数和编码器块数）和训练超参数（如学习率和批量大小）。使用贝叶斯优化对这两组超参数进行调优。随后，我们分析了数据集规模与插值和外推推断准确率之间的比例规律。结果表明，尽管变压器模型在大数据集上在准确率方面保持竞争力，但 RNNs 在小数据集上显示更好的准确率并表现出更好的外推性能。此外，在外推情况下，存在明显差异，RNN 保持准确，而变压器模型表现不佳。另一方面，变压器模型在推断速度上快 7 倍，推断时间为 0.5 毫秒/次，而 RNN 模型为 3.5 毫秒/次。
引用
@article{arxiv.2603.00092,
title = {A comparative study of transformer models and recurrent neural networks for path-dependent composite materials},
author = {Petter Uvdal and Mohsen Mirkhalaf},
journal= {arXiv preprint arXiv:2603.00092},
year = {2026}
}