分析基于树的神经网络在回归任务中的行为
机器学习
2024-06-18 v1 人工智能
软件工程
摘要
深度学习的格局极大地扩展了源代码分析的边界，特别是通过利用诸如抽象语法树（AST）之类的结构表示。虽然这些方法在分类任务中已显示出有效性，但它们在回归应用（例如从源代码预测执行时间）中的功效仍未得到充分探索。本文致力于在回归挑战的背景下解码基于树的神经网络模型的行为。我们将已建立的模型——基于树的卷积神经网络（CNN）、Code2Vec和基于Transformer的方法——扩展到通过将源代码解析为AST来预测其执行时间。我们的比较分析表明，虽然这些模型是代码表示的基准，但在处理回归任务时它们表现出局限性。为了解决这些缺陷，我们提出了一种新颖的双Transformer方法，该方法同时处理源代码标记和AST表示，采用交叉注意力机制来增强两个域之间的可解释性。此外，我们探索了图神经网络（GNN）对此类基于树的问题的适应性，理论上认为由于AST的图性质，两者具有内在兼容性。在真实世界数据集上的实证评估表明，我们的双Transformer模型优于所有其他基于树的神经网络和基于GNN的模型。此外，我们提出的双Transformer在不同数据集上表现出卓越的适应性和稳健的性能。
引用
@article{arxiv.2406.11437,
title = {Analysing the Behaviour of Tree-Based Neural Networks in Regression Tasks},
author = {Peter Samoaa and Mehrdad Farahani and Antonio Longa and Philipp Leitner and Morteza Haghir Chehreghani},
journal= {arXiv preprint arXiv:2406.11437},
year = {2024}
}
备注
This Paper is submitted to IEEE Transactions on Neural Networks and Learning Systems