面向统计类型推断的跨语言迁移学习
人工智能
2022-12-27 v5 机器学习
摘要
迄今为止，统计类型推断系统完全依赖于监督学习方法，这需要费力的人工劳动来收集和标注大量数据。大多数图灵完全的命令式语言共享相似的控制流和数据流结构，这使得将一个语言中学到的知识迁移到另一个语言成为可能。在本文中，我们提出了一个用于统计类型推断的跨语言迁移学习框架 PLATO，它允许我们利用从一种语言的标注数据集中学到的先验知识并将其迁移到其他语言，例如 Python 到 JavaScript、Java 到 JavaScript 等。PLATO 由一种新颖的核化注意力机制驱动，以约束骨干 Transformer 模型的注意力范围，从而迫使模型基于语言间共同共享的特征进行预测。此外，我们提出了语法增强，以加强对语言域间特征重叠的学习。进一步地，PLATO 也可通过引入跨语言增强来提升传统基于监督学习的类型推断的性能，使模型能够跨多种语言学习更通用的特征。我们在两种设置下评估了 PLATO：1）在目标语言数据未标注或部分标注的跨域场景下，结果表明 PLATO 大幅优于最先进的域迁移技术，例如将 Python 到 TypeScript 基线提升了 +5.40%@EM、+5.40%@weighted-F1；2）在传统的基于单语监督学习的场景下，PLATO 将 Python 基线提升了 +4.40%@EM、+3.20%@EM（参数化）。
引用
@article{arxiv.2107.00157,
title = {Cross-Lingual Transfer Learning for Statistical Type Inference},
author = {Zhiming Li and Xiaofei Xie and Haoliang Li and Zhengzi Xu and Yi Li and Yang Liu},
journal= {arXiv preprint arXiv:2107.00157},
year = {2022}
}