经典序列匹配是一种有竞争力的少样本单类学习器
机器学习
2022-10-07 v2 计算与语言
摘要
如今，基于transformer的模型逐渐成为人工智能研究者的默认选择，即便在少样本场景下也展现出优越性。本文重新审视经典方法并提出了一种新的少样本替代方案。具体而言，我们研究少样本单类问题，即实际以已知样本为参考来检测未知实例是否属于同一类。该问题可从序列匹配视角研究。结果表明，借助元学习，经典序列匹配方法（即Compare-Aggregate）显著优于transformer方法。经典方法所需训练成本远低于后者。此外，我们在简单微调与元学习下对两类序列匹配方法进行了实证比较。元学习导致transformer模型的特征出现高相关维度，其原因与transformer模型的层数和头数密切相关。实验代码与数据见 https://github.com/hmt2014/FewOne
引用
@article{arxiv.2209.06394,
title = {Classical Sequence Match is a Competitive Few-Shot One-Class Learner},
author = {Mengting Hu and Hang Gao and Yinhao Bai and Mingming Liu},
journal= {arXiv preprint arXiv:2209.06394},
year = {2022}
}
备注
COLING 2022; Added a missing citation compared with the last version