基于信息检索为软件工程师推荐机器学习良好实践的研究
软件工程
2023-08-28 v2
摘要
机器学习(ML)如今被广泛用于不同目的和多个学科。从自动驾驶汽车到自动化医疗诊断,机器学习模型广泛支持用户的日常活动,软件工程任务也不例外。不采纳良好的 ML 实践可能导致陷阱,阻碍 ML 系统的性能并潜在导致意外结果。尽管存在关于 ML 最佳实践的文档和文献,许多非 ML 专家在实现 ML 系统时,倾向于求助于博客和问答系统等灰色文献以寻找帮助和指导。为了更好地帮助用户从此类来源中提炼相关知识,我们提出了一种基于用户上下文推荐 ML 实践的推荐系统。作为创建机器学习实践推荐系统的第一步,我们实现了 Idaka。该工具提供两种不同方法来检索/生成 ML 最佳实践:i) 信息检索(IR)引擎和 ii) 大语言模型。IR 引擎使用 BM25 作为检索实践的算法,以及一个大语言模型(在我们的案例中是 Alpaca)。该平台旨在允许对最佳实践检索工具进行比较研究。Idaka 已在 GitHub 公开可用:https://bit.ly/idaka。视频:https://youtu.be/cEb-AhIPxnM。
引用
@article{arxiv.2308.12095,
title = {On Using Information Retrieval to Recommend Machine Learning Good Practices for Software Engineers},
author = {Laura Cabra-Acela and Anamaria Mojica-Hanke and Mario Linares-Vásquez and Steffen Herbold},
journal= {arXiv preprint arXiv:2308.12095},
year = {2023}
}
备注
Accepted for Publication at ESEC/FSE demonstrations track