从基础与应用研究视角看通过注意力机制提升预测性能与模型可解释性
机器学习
2024-01-24 v1 人工智能
计算与语言
计算机视觉与模式识别
多媒体
摘要
随着深度学习技术的飞速进步，机器学习研究在基础与应用研究中均聚焦于提升模型预测的可解释性以及预测性能。尽管深度学习模型比传统机器学习模型具有更高的预测性能，其具体的预测过程仍难以解释和/或说明。这被称为机器学习模型的黑箱化，并被广泛认为是众多研究领域中的特别重要的问题，包括制造、商业、机器人及其他已普遍应用该技术的行业，以及不容许出错的医疗领域。本通报基于作者学位论文的总结。该学位论文所总结的研究聚焦于近年来备受关注的注意力机制，并探讨其在基础研究（提升预测性能与可解释性）与应用研究（在实验室环境之外使用大型数据集针对实际应用进行评估）两方面的潜力。学位论文最后总结了这些发现对后续研究的意义及该领域的未来展望。
引用
@article{arxiv.2303.14116,
title = {Improving Prediction Performance and Model Interpretability through Attention Mechanisms from Basic and Applied Research Perspectives},
author = {Shunsuke Kitada},
journal= {arXiv preprint arXiv:2303.14116},
year = {2024}
}
备注
The bulletin of Graduate School of Science and Engineering, Hosei University, Vol.64 (03/2023). This article draws heavily from arxiv:2009.12064, arxiv:2104.08763, arxiv:1905.07289, and arxiv:2204.11588