TST$^\mathrm{R}$:目标相似度调优走进现实世界
人工智能
2023-10-31 v2 计算与语言
软件工程
摘要
目标相似度调优(Target Similarity Tuning, TST)是一种通过大语言模型(LLMs)在自然语言(NL)到代码生成任务中筛选相关示例以提升性能的方法。其目标是使句子嵌入模型的相似度在两个NL输入之间与其关联代码输出之间的相似度相匹配。在本文中,我们提出了在现实世界中应用并改进TST的不同方法。首先,我们用更大模型的嵌入替换句子Transformer,这降低了对语言分布的敏感性,从而在示例的合成生成上提供了更大的灵活性;我们训练了一个微小模型,将这些嵌入变换到一个嵌入相似度与代码相似度相匹配的空间,这使得原模型可保持黑盒状态,且推理时仅需少量矩阵乘法。其次,我们展示了如何高效筛选较少数量的训练示例来训练TST模型。第三,我们引入了一种基于排序的TST评估方法,无需端到端代码生成实验,而此类实验往往代价高昂。
引用
@article{arxiv.2310.17228,
title = {TST$^\mathrm{R}$: Target Similarity Tuning Meets the Real World},
author = {Anirudh Khatry and Sumit Gulwani and Priyanshu Gupta and Vu Le and Ananya Singha and Mukul Singh and Gust Verbruggen},
journal= {arXiv preprint arXiv:2310.17228},
year = {2023}
}
备注
Accepted for EMNLP-Findings, 2023