向昨日学习：一种面向监督受限文本到SQL任务流的半监督持续学习方法
计算与语言
2022-11-22 v1 人工智能
摘要
传统的文本到SQL研究局限于单一任务及固定规模的训练与测试集。当面对真实应用中常见的任务流时，现有方法受困于监督数据不足与重训练成本高的问题。前者易使新任务在未见数据库上过拟合，而后者使模型对过往任务实例的全面回顾变得不切实际，导致对已学 SQL 结构与数据库模式的遗忘。为解决这些问题，本文提出将半监督学习（SSL）与持续学习（CL）集成到文本到SQL任务流中，并依次给出两种可行方案。第一种方案 Vanilla 执行自训练，以当前任务预测的伪标签实例扩充监督训练数据，同时以情景记忆回放替代全量重训练，以平衡训练效率与过往任务性能。改进方案 SFNet 利用了 CL 与 SSL 间的内在联系：用记忆中的过往信息辅助当前 SSL，同时将高质量伪实例加入记忆以改进未来回放。在两个数据集上的实验表明，SFNet 在多项指标上优于广泛使用的仅 SSL 与仅 CL 基线。
引用
@article{arxiv.2211.11226,
title = {Learn from Yesterday: A Semi-Supervised Continual Learning Method for Supervision-Limited Text-to-SQL Task Streams},
author = {Yongrui Chen and Xinnan Guo and Tongtong Wu and Guilin Qi and Yang Li and Yang Dong},
journal= {arXiv preprint arXiv:2211.11226},
year = {2022}
}
备注
Accepted by AAAI-2023