从笔端到像素：通过新型基准和高效适配器将手绘图表翻译为图形 API
计算机视觉与模式识别
2026-03-30 v1
摘要
由于图表在现代数据可视化和分析中发挥关键作用，Plot2API 被推出以帮助非专家和初学者通过神经网络直接从参考图表图像推荐图形 API。然而，此前 Plot2API 的工作主要关注标准图表图像的推荐，而忽略了对手绘图表图像的推荐——后者对非专家和初学者更为可及。更糟糕的是，在标准图表图像上训练的 Plot2API 模型和强大的多模态大语言模型都由于领域差距和缺乏专业知识而难以有效推荐手绘图表图像的 API。为了帮助非专家和初学者，我们引入了一个手绘图表数据集 HDpy-13，以提升手绘图表图像的图形 API 推荐性能。此外，为了缓解 Plot2API 中多领域和多语言挑战带来的参数增长和计算资源消耗，我们提出了 Plot-Adapter，允许训练和存储独立的适配器，而无需为每种语言和领域训练整个模型。具体而言，Plot-Adapter 包含一个轻量级 CNN 块以提升捕获局部特征的能力，并实现了投影矩阵共享以进一步减少微调参数的数量。实验结果同时证明了 HDpy-13 的有效性和 Plot-Adapter 的高效性。
引用
@article{arxiv.2603.26356,
title = {From Pen to Pixel: Translating Hand-Drawn Plots into Graphical APIs via a Novel Benchmark and Efficient Adapter},
author = {Zhenghao Xu and Mengning Yang},
journal= {arXiv preprint arXiv:2603.26356},
year = {2026}
}