在不确定人类指导下通过强化学习实现复杂模型转换
软件工程
2025-08-08 v2 人工智能
机器学习
摘要
模型驱动工程问题通常需要复杂的模型转换（MTs），即链接成广泛序列的 MTs。此类问题的相关示例包括模型同步、自动模型修复和设计空间探索。手动开发复杂的 MTs 是一个容易出错且通常不可行的过程。强化学习（RL）是缓解这些问题的一种适宜方法。在 RL 中，自主智能体通过试错探索状态空间，以识别有益的动作序列，例如 MTs。然而，RL 方法在复杂问题中表现出性能问题。在这些情况下，人类指导可能具有很高的效用。在本文中，我们提出了一种在潜在不确定的人类建议指导下，通过 RL 开发复杂 MT 序列的方法和技术框架。我们的框架允许将用户定义的 MTs 映射到 RL 原语上，并将它们作为 RL 程序执行以寻找最优 MT 序列。我们的评估表明，人类指导即使不确定，也能显著提高 RL 性能，并带来更高效的复杂 MTs 开发。通过在人类建议的确定性与及时性之间进行权衡，我们的方法向 RL 驱动的人在回路工程方法迈出了一步。
引用
@article{arxiv.2506.20883,
title = {Complex Model Transformations by Reinforcement Learning with Uncertain Human Guidance},
author = {Kyanna Dagenais and Istvan David},
journal= {arXiv preprint arXiv:2506.20883},
year = {2025}
}
备注
Accepted for ACM/IEEE MODELS'25