Transformer是否编码了基础本体？对自然语言中抽象类的探测
计算与语言
2022-01-26 v1
摘要
在探测（或诊断分类）的方法论支持下，近期研究已表明Transformer在一定程度上编码了句法与语义信息。遵循这一研究脉络，本文旨在将语义探测推向抽象极致，以回答如下研究问题：当代基于Transformer的模型能否反映底层的基础本体（Foundational Ontology, FO）？为此，我们提出一种系统的基础本体探测方法论，以考察基于Transformer的模型是否编码抽象语义信息。遵循不同的预训练与微调机制，我们对一系列多样化的大规模语言模型在三个不同且互补的FO标注实验上进行了广泛评估。具体而言，我们给出并讨论了如下结论：（1）探测结果表明，基于Transformer的模型在预训练过程中偶然编码了与基础本体相关的信息；（2）利用该知识可高效构建鲁棒的FO标注器（准确率达90%）。
引用
@article{arxiv.2201.10262,
title = {Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language},
author = {Mael Jullien and Marco Valentino and Andre Freitas},
journal= {arXiv preprint arXiv:2201.10262},
year = {2022}
}