面向序列置信度校准的感知与语义感知正则化
计算机视觉与模式识别
2023-06-01 v1 人工智能
摘要
深度序列识别（DSR）模型因在各种应用中的优越表现而受到越来越多的关注。大多数DSR模型仅以目标序列作为监督，未考虑其他相关序列，导致其预测过度自信。使用标签平滑正则化训练的DSR模型通过平等且独立地平滑每个词元来正则化标签，将小量概率重新分配给其他词元以缓解过度自信。然而，它们未考虑词元/序列间的相关性，而这些相关性可能提供更有效的信息以正则化训练，从而导致次优性能。在本工作中，我们发现与目标词元/序列具有高度感知与语义相关性的词元/序列包含更多相关且有效的信息，从而有助于更有效的正则化。为此，我们提出了一种感知与语义感知序列正则化框架，该框架探索具有感知与语义相关性的词元/序列作为正则化项。具体而言，我们引入语义上下文无关识别与语言模型，分别获取具有高度感知相似性与语义相关性的相似序列。此外，过度自信程度随样本难度不同而各异。因此，我们进一步设计了一种自适应校准强度模块，为每个样本计算难度分数以获得更细粒度的正则化。在包括场景文本与语音识别在内的标准序列识别任务上的大量实验表明，我们的方法取得了新的最先进结果。代码见 https://github.com/husterpzh/PSSR。
引用
@article{arxiv.2305.19498,
title = {Perception and Semantic Aware Regularization for Sequential Confidence Calibration},
author = {Zhenghua Peng and Yu Luo and Tianshui Chen and Keke Xu and Shuangping Huang},
journal= {arXiv preprint arXiv:2305.19498},
year = {2023}
}