论大语言模型在机械设计领域的有效性
计算与语言
2025-05-06 v1 机器学习
摘要
在这项工作中，我们旨在理解大语言模型在机械工程领域的性能。我们利用了ABC数据集中发现的语义数据，特别是设计者为整体装配体指定的装配体名称，以及为每个零件指定的独立语义零件名称。在对数据进行预处理后，我们开发了两个无监督任务来评估不同模型架构在领域特定数据上的表现：一个二分类句子对分类任务和一个零样本分类任务。我们通过一个专注于对抗过拟合的微调模型，在二分类句子对分类任务上达到了0.62的准确率，该模型调整了：1）学习率，2）丢弃率，3）序列长度，以及4）增加了一个多头注意力层。我们的模型在零样本分类任务上大幅优于基线模型，达到了0.386的Top-1分类准确率。这些结果揭示了在该领域从语言中学习时出现的特定失败模式。
引用
@article{arxiv.2505.01559,
title = {On the effectiveness of Large Language Models in the mechanical design domain},
author = {Daniele Grandi and Fabian Riquelme},
journal= {arXiv preprint arXiv:2505.01559},
year = {2025}
}