中文

利用大语言模型支持文本领域特定语言定义与实例的协同演化:一项系统性评估

软件工程 2026-02-13 v1 人工智能

摘要

软件语言会因功能添加等原因随时间演化。当语法演化时,原本符合该语法的文本实例可能变得过时。虽然模型驱动工程提供了许多用于模型与元模型协同演化的技术,但这些方法并非为文本领域特定语言(DSL)设计,且可能丢失布局和注释等与人类相关的信息。本研究系统性地评估了大语言模型(LLM)在协同演化文本DSL的语法与实例方面的潜力。使用Claude Sonnet 4.5和GPT-5.2,在十个案例语言上各运行十次,我们评估了正确性和人类导向信息的保留程度。结果表明,在小规模案例上性能强劲(对于修改行数少于20行的实例,精确率和召回率均≥94%),但性能随规模增大而下降:Claude在40行时保持85%的召回率,而GPT在最大实例上失败。响应时间随实例大小显著增加,且语法演化复杂性和删除粒度对性能的影响大于变更类型。这些发现阐明了基于LLM的协同演化在何种情况下有效,以及当前局限所在。

关键词

引用

@article{arxiv.2602.11904,
  title  = {Leveraging LLMs to support co-evolution between definitions and instances of textual DSLs: A Systematic Evaluation},
  author = {Weixing Zhang and Bowen Jiang and Yuhong Fu and Anne Koziolek and Regina Hebig and Daniel Strüber},
  journal= {arXiv preprint arXiv:2602.11904},
  year   = {2026}
}