TinySQL：面向机理可解释性研究的渐进式文本到 SQL 数据集
机器学习
2025-10-23 v5 人工智能
数据库
摘要
机理可解释性研究面临着简单任务中分析简单电路与大型模型中发现特征之间的鸿沟。为弥合这一差距，我们提出以文本到 SQL 生成作为理想任务进行研究，因为它将 toy 任务的形式化结构与真实世界的复杂性相结合。我们引入 TinySQL，一个从基本到高级 SQL 操作逐步推进的合成数据集，并训练参数规模从 3300 万到 10 亿不等的模型，构建全面的可解释性测试平台。我们应用多种互补可解释性技术，包括 Edge Attribution Patching 和稀疏自编码器，以识别支持 SQL 生成的最小电路和组件。我们比较不同 SQL 子技能的电路，评估其最小性、可靠性和可识别性。最后，我们进行分层逻辑镜头分析，揭示模型如何在各层面构成 SQL 查询：从意图识别到模式解析再到结构化生成。我们的工作为在结构化、逐步复杂化的环境中探索和比较可解释性方法提供了稳健框架。
引用
@article{arxiv.2503.12730,
title = {TinySQL: A Progressive Text-to-SQL Dataset for Mechanistic Interpretability Research},
author = {Abir Harrasse and Philip Quirke and Clement Neo and Dhruv Nathawani and Luke Marks and Amir Abdullah},
journal= {arXiv preprint arXiv:2503.12730},
year = {2025}
}
备注
Accepted to EMNLP 2025, 9 pages, 19 figures, 7 tables, 18 trained models Project Website: https://abirharrasse.github.io/tinysql/ Code Repository: https://github.com/withmartian/TinySQL Datasets and Models Viewer: https://huggingface.co/spaces/abir-hr196/tinysql-demo