Plot2API:基于语义解析引导神经网络的绘图API推荐
软件工程
2021-04-05 v1 人工智能
计算机视觉与模式识别
摘要
基于图形的绘图API推荐(Plot2API)是一个尚未被研究但有意义的问题,在软件工程与数据可视化背景下具有若干重要应用,例如初学者的绘图指导、图形API关联分析以及绘图代码转换。Plot2API是一项极具挑战性的任务,因为每张图常关联多个API,且同一API绘制的图形外观因参数设置不同可能差异极大。此外,不同API的样本还存在极度不平衡的问题。考虑到Plot2API技术上的缺失,我们提出一种名为语义解析引导神经网络(SPGNN)的新型深度多任务学习方法,将Plot2API问题转化为多标签图像分类与图像语义解析任务来求解。在SPGNN中,采用近期先进的卷积神经网络(CNN)EfficientNet作为API推荐的骨干网络。同时,补充一个语义解析模块,以利用特征学习中语义相关的视觉信息,并消除可能干扰基于视觉信息的API推荐的、与外观相关的视觉信息。此外,还应用了近期的数据增强技术随机擦除来缓解API类别的不平衡。我们从Stack Overflow收集了带有用于绘制它们的图形API的图,并发布了对应于R和Python编程语言图形API的三个新Plot2API数据集,用于评估Plot2API技术的有效性。大量实验结果不仅证明了我们的方法相对于近期深度学习基线的优越性,也展示了我们的方法在图形API推荐中的实用性。
引用
@article{arxiv.2104.01032,
title = {Plot2API: Recommending Graphic API from Plot via Semantic Parsing Guided Neural Network},
author = {Zeyu Wang and Sheng Huang and Zhongxin Liu and Meng Yan and Xin Xia and Bei Wang and Dan Yang},
journal= {arXiv preprint arXiv:2104.01032},
year = {2021}
}
备注
Accepted by SANER2021