计算化学公社»论坛首页 › 计算机软硬件 (Software and Hardware) › 高性能计算、集群、并行技术 (HPC, Cluster, Parallel Computing) › 零基础构建SLURM调度并行计算集群

零基础构建SLURM调度并行计算集群

查看数: 5377 | 评论数: 10 | 收藏 Add to favorites 20

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

abin

发布时间: 2022-3-17 17:10

正文摘要:

本帖最后由 abin 于 2022-5-5 21:31 编辑新版在这里. http://bbs.keinsci.com/thread-29423-1-1.html 特别提示本方案的设定, 是假定您的计算机技能, 停留在多数简历里面描述的“熟练掌握Micosoft Word, Power ...

回复 Reply

abin 发表于 Post on 2022-4-29 16:47:45

独孤天血发表于 2022-4-29 15:36
这个是使用脚本方式部署的么

看你怎么定义脚本了?

如果认为文件名类似 FileName.sh 就是脚本, 那就是吧.

手册和演示视频中, 有示例.

独孤天血 发表于 Post on 2022-4-29 15:36:38

这个是使用脚本方式部署的么

abin 发表于 Post on 2022-4-29 10:45:53

本帖最后由 abin 于 2022-4-29 10:47 编辑

受华为 openEuler sig-HPC 邀请,
简单介绍了 hpc4you toolkit “傻瓜式”集群部署方案特性和设计初衷.

https://www.bilibili.com/video/B ... arch-card.all.click
如有兴趣, 可以观摩会议录播.

会议纪要在这里: https://etherpad.openeuler.org/p/sig-HPC-meetings

只要你能完成通过微软访问Linux这件事情,
那么 hpc4you toolkit, 就能让你以“复制+粘贴+按回车键”方式完成集群搭建.

如果你使用的是MobaXterm访问Linux机器的ssh,
那么对于屏幕上提示的指令, 可以通过鼠标左键双击+鼠标右键单击+按回车键完成.
几个重启后要继续执行的指令, 档案是从PDF手册复制后在粘贴了....

abin 发表于 Post on 2022-4-27 19:29:11

本帖最后由 abin 于 2022-4-27 22:15 编辑

补充一下，
电脑技能要求更新一下。

用户，可以从手边操作的机器，
连接Linux 机器，
并能上传和下载文件。

仅此而已。

因为我的脚本会生成一个文件，好多人说找不到文件，
也不晓得怎么把这个文件拿回来……哎……
修正一下.

必须具备的电脑技能

至少能区分清楚键盘上的字母、数字、方向键以及Enter键.
知晓并清楚, ESC键, Tab键, 在键盘哪里, 而非依次按字母E S C.
知晓并理解复制粘贴指令到Linux终端之后, 必须再按Enter键之操作逻辑.
知晓如何在微软和远程Linux机器之间, 传送文件. 视频教程在这里 Transfer files: Linux <--> Windows, https://www.bilibili.com/video/BV1fJ411n7uV

简单总结为, 能独立完成通过微软登录远程Linux机器, 完成基本的计算任务即可.

仅要求这点电脑技能.

红米饭1234 发表于 Post on 2022-4-14 14:57:08

为什么不出一个搭建LSF作业调度系统的教程呢？我觉得LSF蛮好用的

abin 发表于 Post on 2022-4-13 21:51:12

本帖最后由 abin 于 2022-4-13 21:54 编辑

经清华李姓学子指点, hpc4you toolkit, 即日起, 仅提供可供使用的二进制版本, 无原始代码提供.

清华李姓学子期望我分享工具套件的实施过程以及设计原理,
并问我以上的bash指令, 是否用来做鉴权加密的?
提到自己搞明白后, 做成付费课程售卖, 再赚取运维费用.
我提到, 既然你是商业目的, 请支付一点咨询费再说哦.
对方不愿意支付任何咨询费.

虽然, 我的bash脚本只是获取目标机器的系统版本, 内存容量, 硬盘数目等信息.
虽然我之前提供的版本, 都是源码可见的.

那就搞成二进制版本好了.
以免被他人修改后, 添加了后门,
通过信息差, 诈骗高额运维费用.

再次声明, hpc4you toolkit所构建的集群, 除非硬件故障, 集群系统本身免维护, 无需任何运维操作.
不要抬杠呀, 添加删除用户, 当然需要自己动手了. 手册中都有写的. 这种操作, 不算运维范畴吧?

手册也有写, 硬件更换后, 如何维护. 硬件工具大概300元(京东有售哦), 系统盘大概100元, 动手20分钟, 自己500元的成本就能搞定(其中100元算自己的工时费).

做一套并行计算集群, 淘宝上的报价, 应该是3000~5000起跳 + 500 x 机器数.
记得有一位朋友, 20台机器, 千兆网络, 做成集群, 3万, 仅集群本身哦, 不包含其他软件的调试.

abin 发表于 Post on 2022-4-13 15:10:36

本帖最后由 abin 于 2022-4-13 21:50 编辑

今天,
一位南京高校的科研工作者评价说,
“(hpc4you toolkit)是计算机外行开发的, 专门适用于做计算模拟的计算机外行使用的专业工具“.

甚感欣慰.
首先, 我从未研修过任何计算机专业课程, 也未曾参加过任何计算机等级考试. 的确是计算机外行.
其次, 我使用并行计算集群, 有超过15年的经验. 我十分清楚, 计算模拟方面, 并行计算如何跑的更快.
最后, 我这套工具的设计, 就是假定用户无需电脑技术; 用户只需复制粘贴红色或者绿色指令, 并按Enter就行.

是的, 你没有看错.

如果使用hpc4you toolkit solo, 给单机/工作站安装workload manager,
你无需输入任何东西, 仅需按照屏幕提示复制粘贴指令, 耗时约5~30分钟, 具体取决于系统版本和网络.

如果使用hpc4you toolkit, 组建集群,
你仅仅需要, 在微软创建一个文档, 写入:

192.168.1.254 master
192.168.1.2 node01
192.168.1.3 node02

复制代码

然后, 依照手册, 和屏幕提示, 运行各个模块即可. 全程耗时约30~60分钟, 具体取决于网络和机器数量.

其他什么都不需要.
甚至, 这套工具, 都没有预留任何“可供运维收费的后门“.
因为这套工具做成的集群, 是免维护的.
何来需要运维费用之说? (当然,硬件坏了, 和我没关系呀, 我只负责系统, 不维修硬件).

工具价格, 相当于三五人吃个普通的烤串.

访问 https://gitee.com/hpc4you/hpc 了解详情.

对于没耐心的,
请运行:

bash <(curl https://gitee.com/hpc4you/hpc/raw/master/getInfo.sh)

复制代码

abin 发表于 Post on 2022-3-19 15:14:31

本帖最后由 abin 于 2022-3-31 23:52 编辑

更新:

考虑到很多小朋友,
没有耐心逐帧查看演示视频,
特意在网页 https://gitee.com/hpc4you/hpc
添加了新版的手册, 里面添加了很多关键步骤的屏幕输出信息截图.

更新后的手册也在手里:

hpc4you-toolkit-manual-pub.pdf (4.37 MB, 下载次数 Times of downloads: 60)

推荐去 https://gitee.com/hpc4you/hpc 下载手册, 哪里可能是最新版.

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register