通过信息流展示相互增强效应
计算与语言
2024-06-06 v2
摘要
相互增强效应（MRE）研究文本分类任务中词级和文本级分类之间的协同关系。它认为两个分类级别的性能可以相互提升。然而，先前的研究并未充分证明或解释这一机制。为弥补这一空白，我们采用信息流分析来观察和证实MRE理论。我们在六个MRE混合数据集上的实验揭示了模型中MRE的存在及其影响。此外，我们进行了微调实验，其结果与信息流实验的结果一致。两个实验结果的趋同证实了MRE的存在。此外，我们将MRE的应用扩展到提示学习，利用词级信息作为语言表达器来增强模型对文本级分类标签的预测。在最后一个实验中，六个数据集中有五个的F1分数显著超过基线，进一步验证了词级信息增强了语言模型对整体文本的理解。
引用
@article{arxiv.2403.02902,
title = {Demonstrating Mutual Reinforcement Effect through Information Flow},
author = {Chengguang Gan and Xuzheng He and Qinghao Zhang and Tatsunori Mori},
journal= {arXiv preprint arXiv:2403.02902},
year = {2024}
}
备注
The co-authors have requested that the manuscript be withdrawn. And the paper has major flaws