minicons：支持 Transformer 语言模型灵活行为与表征分析的工具库
计算与语言
2022-03-25 v1
摘要
我们推出 minicons，一个开源库，为有意对基于 transformer 的语言模型（LMs）进行行为与表征分析的研究者提供标准 API。具体而言，minicons 使研究者能在两个层面应用分析方法：（1）在预测层面——通过提供高效提取词/句级概率的函数；以及（2）在表征层面——通过促进从一层或多层高效提取词/短语级向量。在本文中，我们描述该库并将其应用于两个启发性案例研究：一个聚焦 BERT 架构在相对语法判断上的学习动态，另一个在零样本溯因推理上对标 23 个不同 LMs。minicons 可在 https://github.com/kanishkamisra/minicons 获取。
引用
@article{arxiv.2203.13112,
title = {minicons: Enabling Flexible Behavioral and Representational Analyses of Transformer Language Models},
author = {Kanishka Misra},
journal= {arXiv preprint arXiv:2203.13112},
year = {2022}
}
备注
To be submitted; Code to reproduce experiments can be found on https://github.com/kanishkamisra/minicons-experiments