计算化学公社

标题: Linux下Scikit-learn机器学习实例脚本 [打印本页]

作者
Author: 冰释之川 时间: 2022-6-22 22:05
标题: Linux下Scikit-learn机器学习实例脚本
本帖最后由冰释之川于 2022-8-9 13:27 编辑

最近老板说要搞机器学习，于是乎我又开始折腾起了Scikit-learn囧RZ:

下面分享一下本人所写的调用scikit-learn (sklearn)库中各种算法进行机器学习的脚本集合(Linux平台)的【脚本文件清单】：

Models文件夹中：(1)*_CUTLOSS.py、*_MA100.py 和*_TAND.py文件为模型训练脚本
                        (2)*_GS.pkl 和 *_best.pkl 是用各种算法优化后保存的模型
                        (3)ML_prediction.py为预测脚本，需要导入优化好的模型(*.pkl文件)
                        (4)1502_LYL.csv 数据集（特征变量为连续变量）
                        (5)folder_pred_all.sh 批量预测脚本，配合ML_prediction.py文件使用(预测信息汇总于Extract_sklearn_predictions.txt)
                        (6)Extract_sklearn.sh 训练结果信息汇总脚本(训练信息汇总于Extract_sklearn_results.txt)

Models2文件夹中：(1)Hardness_*.py、MA10_*.py 、MA100_*.py、MA300_*.py和pd_*.py文件为模型训练脚本
                        (2)*_best.pkl 是用各种算法优化后保存的模型
                        (3)ML_predictions_find_best.py为预测脚本，需要导入优化好的模型(*.pkl文件)，这里采用枚举法遍历每个离散特征变量的组合，从而寻找最佳特征变量
                        (4)TZ038-41.csv 数据集（特征变量为离散变量）
                        (5)folder_pred_find_best_all 批量预测脚本，配合ML_predictions_find_best.py文件使用(预测信息汇总于Extract_sklearn_predictions_find_best.txt)
                        (6)Extract_sklearn.sh 训练结果信息汇总脚本(训练信息汇总于Extract_sklearn_results.txt)

这里所有的模型训练脚本都采用pipeline + grid-search 方法对数据集进行预处理(编码或者标准化)、流程化以及寻找最佳超参数。
不知道啥是pipeline的同学，请看下图：
(, 下载次数 Times of downloads: 82)

不知道啥是grid-search 方法的同学，官方文档(https://scikit-learn.org/stable/)里搜"GridSearchCV".

其余的内容直接见脚本代码吧，感觉也没啥好描述的

脚本大礼包下载地址：
(, 下载次数 Times of downloads: 329)
(, 下载次数 Times of downloads: 139) (2022.08.08最新版脚本包)

模型分析参见：《Linux下利用SHAP对机器学习模型进行合理解释》（http://bbs.keinsci.com/thread-30780-1-1.html）

作者
Author: exity 时间: 2022-6-22 22:20
py大神，胶水之王，比环氧树脂的粘合力还要强大的男人。

作者
Author: lonemen 时间: 2022-6-22 23:23
冰冰威武！

作者
Author: 冰释之川 时间: 2022-6-23 08:30

exity 发表于 2022-6-22 22:20
py大神，胶水之王，比环氧树脂的粘合力还要强大的男人。

胶水之王什么鬼……？

作者
Author: StormSpirts 时间: 2022-10-17 09:34
冰冰老师好，如果借用了您的程序，该怎么引用呢？包括sklearn这篇和SHAP那篇，感谢老师！

作者
Author: 冰释之川 时间: 2022-10-17 10:38

StormSpirts 发表于 2022-10-17 09:34
冰冰老师好，如果借用了您的程序，该怎么引用呢？包括sklearn这篇和SHAP那篇，感谢老师！

SHAP主页看看怎么引用吧，如果你想引用这个脚本直接引用链接就行了

欢迎光临计算化学公社 (http://bbs.keinsci.com/)