计算化学公社

标题: 复制 + 粘贴 ---> 集群搞定 [打印本页]

作者
Author: abin 时间: 2022-5-5 21:26
标题: 复制 + 粘贴 ---> 集群搞定
本帖最后由 abin 于 2022-6-9 11:07 编辑

这是一个升级版本, hpc4you_toolkit v2.

如果你喜欢读英文手册, 那么在这里.
https://github.com/hpc4you/hpc
https://hpc4you.github.io

里面就包含图片这几个文件, 如下图:
(, 下载次数 Times of downloads: 74)

再简化
将简化进行到底.
现在用户只需输入

source code

复制代码

后续所有的东西, 都会以绿色字符提示.
仅需根据屏幕提示, 复制绿色内容, 粘贴按回车键即可.

我觉得, 编辑/etc/hosts文件,
写入机器IP和机器名, 这个不是什么很难的事情.

能用Linux做计算的, 应该晓得如何向机器发送文件的是吧?
应该能找到文件在哪里的是吧?

如果你还是找不到上传后的文件放哪里了? 没关系, 我给你一条指令, 复制粘贴一下,
所需的文件code和压缩包hpc4you_toolkit-XXX.tgz就出现在你的机器上了.
是不是很简单?

化繁为简, 做集群只需四步
用户仅需进入hpc4you-toolkit文件夹,
依次运行step1.sh, step2.sh, step3.sh, step4.sh. 具体如下:
第一步

./step1.sh

复制代码

会要求输入一次密码, 并按大概5次回车键; 主控节点会重启.

第二步
再次登录master节点, 运行:

./step2.sh

复制代码

运行完毕后, 会提示运行step3.sh. 机器不会重启.

第三步

./step3.sh

复制代码

运行完毕后, 整个集群会重启.

第四步
再次登录master节点, 运行:

./step4.sh

复制代码

整个集群会重启.

然后集群, 就搞定了.

修改了一下, 以免有小朋友把四条指令, 依次复制, 一起给粘贴到终端了, 然后抱怨这啥玩意啊....

======================

实施前的准备

登录每一台要参与集群的机器, (既然要登录, 应该晓得IP地址的), 记录hostname输出值
选择其中一个核心少硬盘多的机器作主控节点
在主控节点修改/etc/hosts文件, 写入IP和hostname映射, 但是保持既有的/etc/hosts内容不修改.
修改所有机器的root登录密码为同一个.

# /etc/hosts文件示例如下

## server infos
192.168.21.2 server1
192.168.21.34 yyds
192.168.21.74 work

## for cluster
192.168.21.2 node1
192.168.21.34 master
192.168.21.74 node12

示例文件显示,

有三台机器, 其中192.168.21.34用来做主控节点;
前后顺序没关系;
计算节点必须是nodeXX, XX可以不连续, 但是必须是node开头.
如果, 已经修改了计算节点机器名为nodeXX, 登录节点机器名为master, 那么只写下面的# for cluster字段内容即可.

不要求是在同一个LAN, 只要机器相互网络畅通即可.

显然, 机器名不能重复; 机器名当然不能是 localhost, 或者 null.

操作演示视频

https://www.bilibili.com/video/BV11S4y1h7PR/ 以微软用户视角演示, 有旁白和解读
https://www.bilibili.com/video/BV19A4y1U7uX 以RHEL8.5兼容系统Rocky Linux8.5做演示, 有旁白和解读
https://www.bilibili.com/video/BV1j44y1u7YR 以Ubuntu20.04兼容系统做演示, 无旁白.

更多信息
请查阅这里. https://gitee.com/hpc4you/hpc

其实也不用看手册, 就是按照顺序运行而已.

工具套件获取, https://gitee.com/hpc4you/hpc

另, 关于老版本的描述在这里 http://bbs.keinsci.com/thread-28395-1-1.html

补充说明
该方案涉及到一个核心组件, setup_hpc, 这是我自己写的, 有软件著作权证书. 其他比如slurm等及其相关依赖, 均来自各系统官方软件源, 经由apt/yum/dnf安装.
显然, 这些玩意, 仅仅安装是无法使用的, setup_hpc会自动配置.

安全性? Linux系统管理权在你手里, 安全问题当然是自己负责了....

如果怀疑setup_hpc安全隐私问题, 配置完毕后, 拔掉对外网线不就得了...
反正私有计算集群, 基本都是放在私有局域网的, 物理隔离的安全性还是挺高的....

最大的安全隐患, 可能来自root权限的实际操作者....

作者
Author: abin 时间: 2022-5-12 18:59
这个, 是对hpc4you_toolkit的设计解读.
https://blog.csdn.net/hpc4you/article/details/124733020

做成简单的黑盒子模式, 也是无奈之举.
除了核心组件 setup_hpc 之外,
其他所有的东西, 只要能仔细看英文文档, 稍微有一丁点Linux指令行操作技能,
少则20个小时, 多则一两周, 都可以把集群所需的各种模块一一搞定.

如果你没有这个心思, 也没精力去看那些英文文档呢,
那么, 可以考虑使用我提供的方案, 大概30分钟到1个小时, 集群就搞定了.
期间, 需要在一个文档, 录入机器IP和机器名(如果能写任何一种计算任务的输入文件, 那么这个肯定能完成),
然后需要输入一次密码, 按5次回车键,
后续都是复制屏幕绿色指令即可.

当然, 如果你晓得cd指令,
那么只需进入目录, 以 ./ (点斜杠)的模式运行step1.sh, step2.sh, step3.sh, step4.sh即可.

我先后给20多位朋友提供了我的工具套件.
问题最多的是,
脚本产生的文件在哪里?
工具包传到服务器了, 可是在哪里呀, 找不到.
怎么解压....

好吧, 我解压了, 然后呢, 你说的step1.sh在哪里呀?
拜托, 解压后, 需要进入生成文件夹呀......

没有一个人说, 工具包和B站的演示视频不符合的,
也没有人说, 用了这个工具, 集群没做起来的.
或许我应该这样提供工具包, 同时发送两个文件,
比如一个是 run-me.sh,
另一个是 hpc4you_toolkit-basic.tgz
告诉用户, 这两个玩意, 放在同一个地方, 然后执行 ./run-me.sh,
然后终端会自动解压, 并进入到文件夹中......

作者
Author: nianbin 时间: 2022-6-9 10:45
太棒了，非常感谢

作者
Author: tiantian365 时间: 2022-12-23 16:43
大神，采用虚拟机能否实现上述的集群搭建？谢谢

作者
Author: abin 时间: 2022-12-23 17:41

tiantian365 发表于 2022-12-23 16:43
大神，采用虚拟机能否实现上述的集群搭建？谢谢

任何能运行Linux的机器，
都可以使用我的工具。

支持的Linux 版本，
请查阅手册。
https://gitee.com/hpc4you/hpc
Doc 目录。

作者
Author: gengle 时间: 2023-1-5 22:51
收藏，备用。多谢了！！！

欢迎光临计算化学公社 (http://bbs.keinsci.com/)