TD-Interpreter：利用视觉-语言学习增强时序图理解
机器学习
2025-07-24 v1
摘要
我们介绍了 TD-Interpreter，这是一种专门的机器学习工具，可在设计和验证过程中协助工程师理解源自第三方的复杂时序图 (TD)。TD-Interpreter 是一个视觉问答环境，允许工程师输入一组 TD 并针对这些 TD 提出设计与验证查询。我们通过微调 LLaVA（一个轻量级的 7B 多模态大语言模型 (MLLM)）实现了 TD-Interpreter 的多模态学习。为了解决训练数据可用性有限的问题，我们开发了一种合成数据生成工作流，将视觉信息与其文本解释相对齐。我们的实验评估证明了 TD-Interpreter 的实用性，它在评估基准上大幅优于未微调的 GPT-4o。
引用
@article{arxiv.2507.16844,
title = {TD-Interpreter: Enhancing the Understanding of Timing Diagrams with Visual-Language Learning},
author = {Jie He and Vincent Theo Willem Kenbeek and Zhantao Yang and Meixun Qu and Ezio Bartocci and Dejan Ničković and Radu Grosu},
journal= {arXiv preprint arXiv:2507.16844},
year = {2025}
}