面向有限数据的自训练与多任务学习：目标检测评估研究
计算机视觉与模式识别
2023-09-13 v1
摘要
自训练允许网络从更复杂模型的预测中学习，因而常需要训练良好的教师模型及师生数据混合；而多任务学习联合优化不同目标以学习显著相互关系，且要求每个训练样本具有多任务标注。尽管这些框架尤其耗费数据，但若能放宽此类假设，便具备数据利用的潜力。本文中，我们在教师训练数据匮乏（学生由教师对未见样本训练）情形下比较自训练目标检测，以及使用部分标注数据（即每训练样本单任务标注）的多任务学习。两种场景各有局限，但对有限标注数据潜在有益。实验结果表明，当使用弱教师结合未见数据训练多任务学生时性能得到提升。尽管设置有限，我们相信实验结果展示了多任务知识蒸馏与自训练的潜力，可有益于未来研究。源代码见 https://lhoangan.github.io/multas。
引用
@article{arxiv.2309.06288,
title = {Self-Training and Multi-Task Learning for Limited Data: Evaluation Study on Object Detection},
author = {Hoàng-Ân Lê and Minh-Tan Pham},
journal= {arXiv preprint arXiv:2309.06288},
year = {2023}
}
备注
Accepted for International Conference in Computer Vision workshop (ICCVW) 2023