当 BERT 遇见量子时间卷积学习：异构计算中的文本分类
计算与语言
2022-03-08 v1 人工智能
分布式、并行与集群计算
神经与进化计算
音频与语音处理
摘要
量子计算的快速发展已展现出量子优势的诸多独特特性，例如更丰富的特征表示和对模型参数更安全的保护。本工作提出一种基于变分量子电路的纵向联邦学习架构，以展示量子增强的预训练 BERT 模型在文本分类上的竞争力。具体而言，我们提出的混合经典-量子模型由一种新颖的随机量子时间卷积（QTC）学习框架组成，替代了基于 BERT 的解码器中的若干层。我们在意图分类上的实验表明，我们提出的 BERT-QTC 模型在 Snips 和 ATIS 口语数据集上取得了有竞争力的实验结果。特别地，BERT-QTC 在两个文本分类数据集上将现有基于量子电路的语言模型性能分别提升了 1.57% 和 1.52% 的相对改进。此外，BERT-QTC 可切实部署于现有商用可访问量子计算硬件和基于 CPU 的接口上，以确保数据隔离。
引用
@article{arxiv.2203.03550,
title = {When BERT Meets Quantum Temporal Convolution Learning for Text Classification in Heterogeneous Computing},
author = {Chao-Han Huck Yang and Jun Qi and Samuel Yen-Chi Chen and Yu Tsao and Pin-Yu Chen},
journal= {arXiv preprint arXiv:2203.03550},
year = {2022}
}
备注
Accepted to ICASSP 2022