Topical：利用注意力机制从源代码学习仓库嵌入
软件工程
2023-11-07 v4 人工智能
摘要
本文提出 Topical，一种用于仓库级嵌入的新型深度神经网络。现有方法依赖自然语言文档或朴素聚合技术，而 Topical 利用注意力机制优于它们。该机制从源代码、完整依赖图和脚本级文本数据生成仓库级表示。Topical 在公开可访问的 GitHub 仓库上训练，在仓库自动标注等任务中超越多个基线，凸显了注意力机制相对于传统聚合方法的有效性。Topical 还展示了可扩展性与效率，使其成为对仓库级表示计算的有价值贡献。为进一步研究，配套工具、代码和训练数据集提供于：https://github.com/jpmorganchase/topical。
引用
@article{arxiv.2208.09495,
title = {Topical: Learning Repository Embeddings from Source Code using Attention},
author = {Agathe Lherondelle and Varun Babbar and Yash Satsangi and Fran Silavong and Shaltiel Eloul and Sean Moran},
journal= {arXiv preprint arXiv:2208.09495},
year = {2023}
}
备注
Pre-print, under review