Lon-ea在SemEval-2023任务11上的工作：软标签与硬标签预测中激活函数的比较
计算与语言
2024-01-05 v4 机器学习
摘要
我们研究了在带有分歧的学习任务(learning with disagreement)中，深度神经网络模型输出层不同激活函数对软标签与硬标签预测的影响。该任务的目标是通过预测软标签来量化分歧程度。为预测软标签，我们使用基于BERT的预处理器和编码器，并在保持其他参数不变的情况下改变输出层所使用的激活函数。随后将软标签用于硬标签预测。所考虑的激活函数包括sigmoid、训练后添加至模型的阶跃函数，以及本文首次引入的正弦激活函数。
引用
@article{arxiv.2303.02468,
title = {Lon-ea at SemEval-2023 Task 11: A Comparison of Activation Functions for Soft and Hard Label Prediction},
author = {Peyman Hosseini and Mehran Hosseini and Sana Sabah Al-Azzawi and Marcus Liwicki and Ignacio Castro and Matthew Purver},
journal= {arXiv preprint arXiv:2303.02468},
year = {2024}
}
备注
Accepted in ACL 2023 SemEval Workshop as selected task paper