通过强化学习进行结构设计
人工智能
2024-07-15 v2
摘要
本文介绍了结构优化健身房（SOgym），这是一个新颖的开源强化学习（RL）环境，旨在推动拓扑优化（TO）中的机器学习发展。SOgym 通过将 TO 的物理特性整合到奖励函数中，使 RL 智能体能够生成物理上可行且结构上稳健的设计。为了增强可扩展性，SOgym 利用特征映射方法作为环境与智能体之间独立于网格的接口，允许无论网格分辨率如何都能与设计变量进行高效交互。基线结果使用了无模型近端策略优化智能体和基于模型的 DreamerV3 智能体。测试了三种观测空间配置。受 TopOpt 游戏启发的配置作为一种交互式教育工具，提高了学生在体积约束下设计结构以最小化柔度的直觉，在性能和样本效率方面表现最佳。具有 1 亿参数的 DreamerV3 版本生成的结构达到了传统优化方法实现的基线柔度的 54% 以内，且断开率为 0%，这优于通常在断开载荷路径上遇到困难的监督学习方法。当将智能体的学习率与 TopOpt 游戏实验中工程学生的学习率进行比较时，DreamerV3-100M 模型的学习率大约低四个数量级，这对于通过试错从零开始训练的策略来说是一项了不起的壮举。这些结果表明了 RL 解决连续 TO 问题的潜力，及其探索和学习多样化设计解决方案的能力。SOgym 为开发应对复杂结构设计挑战的 RL 智能体提供了一个平台，并已公开可用以支持该领域的进一步研究。
引用
@article{arxiv.2407.07288,
title = {Structural Design Through Reinforcement Learning},
author = {Thomas Rochefort-Beaudoin and Aurelian Vadean and Niels Aage and Sofiane Achiche},
journal= {arXiv preprint arXiv:2407.07288},
year = {2024}
}