计算化学公社

 找回密码 Forget password
 注册 Register
Views: 1741|回复 Reply: 5

[Python] Linux下Scikit-learn机器学习实例脚本

[复制链接 Copy URL]

1061

帖子

16

威望

5780

eV
积分
7161

Level 6 (一方通行)

計算化学の社畜

发表于 Post on 2022-6-22 22:05:11 | 显示全部楼层 Show all |阅读模式 Reading model
本帖最后由 冰释之川 于 2022-8-9 13:27 编辑

最近老板说要搞机器学习,于是乎我又开始折腾起了Scikit-learn囧RZ:

下面分享一下本人所写的调用scikit-learn (sklearn)库中各种算法进行机器学习的脚本集合(Linux平台)的【脚本文件清单】:

Models文件夹中:(1)*_CUTLOSS.py、*_MA100.py 和*_TAND.py文件为模型训练脚本
                          (2)*_GS.pkl 和 *_best.pkl 是用各种算法优化后保存的模型
                          (3)ML_prediction.py为预测脚本,需要导入优化好的模型(*.pkl文件)
                          (4)1502_LYL.csv 数据集(特征变量为连续变量
                          (5)folder_pred_all.sh 批量预测脚本,配合ML_prediction.py文件使用(预测信息汇总于Extract_sklearn_predictions.txt)
                          (6)Extract_sklearn.sh 训练结果信息汇总脚本(训练信息汇总于Extract_sklearn_results.txt)

Models2文件夹中:(1)Hardness_*.py、MA10_*.py 、MA100_*.py、MA300_*.py和pd_*.py文件为模型训练脚本
                           (2)*_best.pkl 是用各种算法优化后保存的模型
                           (3)ML_predictions_find_best.py为预测脚本,需要导入优化好的模型(*.pkl文件),这里采用枚举法遍历每个离散特征变量的组合,从而寻找最佳特征变量
                           (4)TZ038-41.csv 数据集(特征变量为离散变量
                           (5)folder_pred_find_best_all 批量预测脚本,配合ML_predictions_find_best.py文件使用(预测信息汇总于Extract_sklearn_predictions_find_best.txt)
                           (6)Extract_sklearn.sh 训练结果信息汇总脚本(训练信息汇总于Extract_sklearn_results.txt)

这里所有的模型训练脚本都采用pipeline + grid-search 方法对数据集进行预处理(编码或者标准化)流程化以及寻找最佳超参数
不知道啥是pipeline的同学,请看下图:
sklearn-pipelines.png

不知道啥是grid-search 方法的同学,官方文档(https://scikit-learn.org/stable/)里搜"GridSearchCV".

其余的内容直接见脚本代码吧,感觉也没啥好描述的

脚本大礼包下载地址:
Scikit-learn_scripts.zip (1.32 MB, 下载次数 Times of downloads: 221)

评分 Rate

参与人数
Participants 10
威望 +1 eV +38 收起 理由
Reason
Novice + 3 好物!
乐平 + 5 好物!
ggdh + 5 牛!
wypkdhd + 5 正是我需要的。
StormSpirts + 5 谢谢
zyq-ynu + 4
sobereva + 1
joeson + 5 好物!
iuhgnor + 1 赞!
tkaray + 5 好物!

查看全部评分 View all ratings

Stand on the shoulders of giants

312

帖子

1

威望

3106

eV
积分
3438

Level 5 (御坂)

发表于 Post on 2022-6-22 22:20:25 | 显示全部楼层 Show all
py大神,胶水之王,比环氧树脂的粘合力还要强大的男人。

228

帖子

0

威望

1913

eV
积分
2141

Level 5 (御坂)

发表于 Post on 2022-6-22 23:23:05 | 显示全部楼层 Show all
冰冰威武!

1061

帖子

16

威望

5780

eV
积分
7161

Level 6 (一方通行)

計算化学の社畜

 楼主 Author| 发表于 Post on 2022-6-23 08:30:20 | 显示全部楼层 Show all
exity 发表于 2022-6-22 22:20
py大神,胶水之王,比环氧树脂的粘合力还要强大的男人。

胶水之王什么鬼……?
Stand on the shoulders of giants

25

帖子

1

威望

1218

eV
积分
1263

Level 4 (黑子)

发表于 Post on 2022-10-17 09:34:00 | 显示全部楼层 Show all
冰冰老师好,如果借用了您的程序,该怎么引用呢?包括sklearn这篇和SHAP那篇,感谢老师!

1061

帖子

16

威望

5780

eV
积分
7161

Level 6 (一方通行)

計算化学の社畜

 楼主 Author| 发表于 Post on 2022-10-17 10:38:32 | 显示全部楼层 Show all
StormSpirts 发表于 2022-10-17 09:34
冰冰老师好,如果借用了您的程序,该怎么引用呢?包括sklearn这篇和SHAP那篇,感谢老师!

SHAP主页看看怎么引用吧,如果你想引用这个脚本直接引用链接就行了
Stand on the shoulders of giants

本版积分规则 Credits rule

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2023-2-2 23:03 , Processed in 0.455777 second(s), 26 queries .

快速回复 返回顶部 返回列表 Return to list