NanoNet：面向轻量级文本挖掘模型的参数高效学习方法
机器学习
2026-02-09 v1 人工智能
摘要
轻量半监督学习（LSL）策略提供了有效的 labeled sample 节省方法和最小化模型推理成本的途径。先前的研究在LSL中有效地应用了知识迁移学习和协训练正则化，将大模型中的知识传递给小模型。然而，这些训练策略计算密集且容易陷入局部最优，从而增加寻找最优解的难度。这促使我们研究将三种低成本场景集成到文本挖掘任务中的可行性：有限的 labeled supervision、轻量级 fine-tuning 以及快速推理的小模型。我们提出了 NanoNet，这是一个面向轻量级文本挖掘的新框架，实现了有限 supervision 下的参数高效学习。它采用在线知识蒸馏生成多个小模型，并通过互动学习正则化提升其性能。整个过程利用参数高效学习，降低训练成本，最小化 supervision 要求，最终得到用于下游推理的轻量级模型。
引用
@article{arxiv.2602.06093,
title = {NanoNet: Parameter-Efficient Learning with Label-Scarce Supervision for Lightweight Text Mining Model},
author = {Qianren Mao and Yashuo Luo and Ziqi Qin and Junnan Liu and Weifeng Jiang and Zhijun Chen and Zhuoran Li and Likang Xiao and Chuou Xu and Qili Zhang and Hanwen Hao and Jingzheng Li and Chunghua Lin and Jianxin Li and Philip S. Yu},
journal= {arXiv preprint arXiv:2602.06093},
year = {2026}
}