计算化学公社

标题: slurm调度并行计算集群调试演示. 真-实况录屏. [打印本页]

作者
Author: abin 时间: 2021-9-13 20:35
标题: slurm调度并行计算集群调试演示. 真-实况录屏.
本帖最后由 abin 于 2021-9-14 09:49 编辑

slurm调度并行计算集群调试演示. 真-实况录屏.
centOS8 平台 bv1ao4y127Hf
centOS7 平台 BV1zP4y1a7Wz

hpc4you自研并行计算集群方案, 适用于计算化学、计算材料应用场景.

集群系统免费维护、免管理(唯一的管理工作就是添加新用户ID).
可一键开启记账功能和GPU调度支持.

支持用户无感式运维支持(如有必要), 仅需通过电邮提供root登录密码或者添加相应key文件, 无需安装任何其他软件.
网络方面仅仅要求, master节点ping www.baidu.com有回应.

补充一下.
我发布的很多Linux平台的视频, 都是“实况录像”.
可能在录制的过程中, 中途会吃东西呀, 摸鱼呀, 再看看别的呀, 还有就是某些make yum install等待时间太长呀....
为了最后呈现的视频不那么冗长,
这些不必要的等待环节, 或者8倍、20倍加速, 或者被剪掉了.

至于有朋友反馈无法重复, 99%的原因是, 没有100%按照视频说明来操作.
也许, 指令需要逐行执行, 实际操作却是都敲在同一行;
也许, 视频演示操作文件/etc/hosts, 你却操作/ect/host....
另有1%的可能是, yum遭遇了网络不稳定. 这个在家庭宽带最容易碰到.

这个就类似: 同一辆车, 同一条跑道; 高手很快跑完一圈. 在分析了高手的跑圈视频后, 信心满满, 哪里该刹车, 哪里该给油...结果一上场, 冲出跑道, 撞轮胎墙了.
这能归类为“你看, 我照做了, 然后没有重复出来”吗?

技术有高低, 开车需谨慎.

在当前的案列中, 由于技术都是公开的...
那么唯一的差别, 就是在是否真正100%按照视频要求做了操作.

作者
Author: doublezhang 时间: 2021-9-14 21:35
我发现slurm得配个ntp，我们家的机器总是莫名其妙快一天

作者
Author: abin 时间: 2021-9-14 22:49

doublezhang 发表于 2021-9-14 21:35
我发现slurm得配个ntp，我们家的机器总是莫名其妙快一天

slurm管辖的机器，时间偏差小于五秒就能正常工作了。

要和外界时间同步的话，
如果可以对外联网，
和阿里同步，
并设定每小时同步一下所有机器时间就搞定了。

作者
Author: Picardo 时间: 2021-12-28 21:49
楼主好，文档的链接好像都失效了，可否更新一下，谢谢

作者
Author: abin 时间: 2021-12-29 07:52

Picardo 发表于 2021-12-28 21:49
楼主好，文档的链接好像都失效了，可否更新一下，谢谢

https://gitee.com/hpc4you/hpc

文档一更新, 百度共享阿里共享就会失效...
看gitee吧.

作者
Author: abin 时间: 2021-12-29 11:11
本帖最后由 abin 于 2021-12-29 11:18 编辑

第一步, 查询硬件信息.
As root user, run

bash <(curl -k -Ss https://gitee.com/hpc4you/hpc/raw/master/getInfo.sh)

复制代码

根据屏幕提示操作. 将生成的文档返回用以获取hpc4you toolkit.

第二步, 动手操作.
Build Your Cluster

Follow manual ( slurm-cluster-by-hpc4you-Howto.pdf download link) to set up your high-performance parallel computing cluster.

文档也可以通过百度网盘下载.

链接: https://pan.baidu.com/s/1Q_-MEKE267fxepzRIA_y4w

提取码: 3mga

如需更新后的“实况录像”,
请私信联系获取.

实况录像, 无非就是按照手册的描述, 逐条指令复制粘贴执行一遍.
因为yum/dnf需要网络, 耗时比较久.

更多讯息,
查询
https://gitee.com/hpc4you/hpc/

作者
Author: Picardo 时间: 2021-12-31 10:32

abin 发表于 2021-12-29 07:52
https://gitee.com/hpc4you/hpc

文档一更新, 百度共享阿里共享就会失效...

好的，已经下载

欢迎光临计算化学公社 (http://bbs.keinsci.com/)