计算化学公社

标题: CentOS Stream 9是否适合做计算集群 [打印本页]

作者
Author: djjj148 时间: 2022-3-22 19:28
标题: CentOS Stream 9是否适合做计算集群
本帖最后由 djjj148 于 2022-3-22 19:39 编辑

最近准备新进一批机器，之前一直用的centos 7.6，本来这次准备换centos 8的，官方却说8只支持到2021年，比7还短命，故想装最新的CentOS Stream 9，不知用来做集群的系统是否好用？
之前分别用CentOS Stream 8和CentOS 8装过slurm集群（虚拟机测试），发现CentOS Stream 8和CentOS 8不太一样，有些8里面可以直接dnf安装的包，在Stream 8里却不行，顿时对Stream系列的便利性产生了怀疑，故想请教一下各位。

作者
Author: abin 时间: 2022-3-22 20:18
本帖最后由 abin 于 2022-3-22 20:20 编辑

建议放弃。
具体去slurm group看看。

使用rocky Linux 吧。
和RHEL8同寿命。

RHEL至少到2028年底。
你的设备用六年也就够了吧？

不建议在生产环境采用滚动更新版，
除非你有的是时间。

如果喜欢追新，试试fedora，
可以跨版本升级，六个月一个大更新。

作者
Author: liyuanhe211 时间: 2022-3-22 20:24
CentOS 8 的 EOL 是2021年，但是 CentOS 8 Stream 到 2024 年。

个人尝试 CentOS 9 Stream 遇到不少问题，主要是它有些自带的包太新，有的程序不支持，还得降级。还有的程序安装时会自动识别系统版本，然后根据不同版本的系统去不同网址下载文件，但是因为9太新，带“9”的网址还不存在，导致安装时有一堆问题。

至于 8 Stream 能不能满足要求就看你需要啥了，目前我用着没啥问题。反正不推荐9 Stream

作者
Author: 红米饭1234 时间: 2022-3-22 20:29
建议centos7.6，符合大多数生产环境，遇到问题也能有现成的答案解决

作者
Author: djjj148 时间: 2022-3-22 20:46

abin 发表于 2022-3-22 20:18
建议放弃。
具体去slurm group看看。

谢谢建议。还好没选9 steam。我更倾向于稳定，在稳定的基础上得到更快的速度就满足。
看到一个测评说9 steam比8和7快9%-14%，可惜要当测试用户。
rocky Linux还比较新，或许可以等几年，等相关的讨论和博客分享足够多了再入坑更省事。

作者
Author: djjj148 时间: 2022-3-22 20:48

liyuanhe211 发表于 2022-3-22 20:24
CentOS 8 的 EOL 是2021年，但是 CentOS 8 Stream 到 2024 年。

个人尝试 CentOS 9 Stream 遇到不少问题 ...

谢谢建议。8 Stream 到 2024 年的话，和7的寿命是一样的，我更熟悉7，或许把7用到2024年更适合，很多人滚动发行版不太适合用于生产环境~

作者
Author: djjj148 时间: 2022-3-22 20:50

红米饭1234 发表于 2022-3-22 20:29
建议centos7.6，符合大多数生产环境，遇到问题也能有现成的答案解决

是的，这也是我迟迟没换新的原因，不过7的寿命快到了，它也比较老了，再坚持个2年就差不多换新了

作者
Author: abin 时间: 2022-3-22 21:22
Rocky Linux, 8.x 和 RHEL 8.x 100%兼容,
当然, 不含RHEL商业标识等.

白话文就是, Rocky Linux 就是之前的CentOS.

作者
Author: hebrewsnabla 时间: 2022-3-22 21:44
Stream 这种滚动更新发行版的重要特性是：想要用包管理器安装/更新任一软件，会自动把全部软件更到最新

如果不愿意更新就什么都装不了。

作者
Author: djjj148 时间: 2022-3-22 22:15

hebrewsnabla 发表于 2022-3-22 21:44
Stream 这种滚动更新发行版的重要特性是：想要用包管理器安装/更新任一软件，会自动把全部软件更到最新{:lo ...

强制wifi下自动更新

作者
Author: djjj148 时间: 2022-3-22 22:15

abin 发表于 2022-3-22 21:22
Rocky Linux, 8.x 和 RHEL 8.x 100%兼容,
当然, 不含RHEL商业标识等.

如果真是除标识外100%，那完全可以考虑现在就换了哈哈

作者
Author: abin 时间: 2022-3-22 22:44
本帖最后由 abin 于 2022-3-22 22:48 编辑

djjj148 发表于 2022-3-22 22:15
如果真是除标识外100%，那完全可以考虑现在就换了哈哈

这不是我说的，是他们的项目主页说的。

【CentOS8平台slurm调度并行计算集群搭建真--实况录像-哔哩哔哩】 https://b23.tv/gjemJ6L

仅供参考

作者
Author: hebrewsnabla 时间: 2022-3-23 01:58
本帖最后由 hebrewsnabla 于 2022-3-23 02:01 编辑

djjj148 发表于 2022-3-22 22:15
强制wifi下自动更新

centos stream毕竟是linux，不会像windows那么恶心的。更新都是自愿的（需要sudo），不会自动更新（只不过不更新就安装软件会报错

）。

作者
Author: sobereva 时间: 2022-3-23 14:27
强烈不建议这年头还用centos 7
编译个稍微新点的程序，诸如CP2K 8.1、GROMACS 2020都没法直接编译，还得去鼓捣gcc

作者
Author: djjj148 时间: 2022-3-23 19:17

sobereva 发表于 2022-3-23 14:27
强烈不建议这年头还用centos 7
编译个稍微新点的程序，诸如CP2K 8.1、GROMACS 2020都没法直接编译，还得去 ...

请教sob老师，centos 7除了gcc旧还有什么其他值得淘汰的理由吗？比如速度不如 centos 8？
1. 我试用过centos 8，相比于7是有一些命令有变化的。我用7.6好几年了，集群的搭建和维护也是一直在7.6上做的，各种脚本和大量笔记也是基于7的，换成8后担心变化太大，额外花费的时间过多，平时工作忙可能不好处理。而且7的用户群很大，遇到什么问题一搜索就能找到完美解决方案，这也是吸引人的一点。
2. 对于gcc的问题，我之前折腾CP2K的时候就在7.6上编译过十多种新的gcc，感觉时间花费还能接受，30-60分钟就能编译完。
当然，如果优势确实非常明显，我是很乐意换新的~

作者
Author: abin 时间: 2022-3-23 19:36
捣鼓gcc 费劲的，
应该是没有看RHEL的手册。

或者是，自己编译的时候，
不会设定PATH，
或者是，技术能力不行，
还把所有的配置一股脑写在bashrc 文档中。

【以普通用户源码编译安装 gcc9 套件-哔哩哔哩】 https://b23.tv/uPz2Eco
如果能像视频中的演示一样
习惯性的都使用$HOME开头的路径设定，
基本能搞定计算化学领域，遇到的各种问题。

作者
Author: djjj148 时间: 2022-3-23 19:59

abin 发表于 2022-3-23 19:36
捣鼓gcc 费劲的，
应该是没有看RHEL的手册。

gcc还好，来来回回就configure、make 、make install和export ，和编译其他程序没有什么本质区别，装成功一次把history记下来，后面想换什么版本直接复制修改对应版本就可以无脑装

真要说折腾，对萌新确实

你视频的安装方法还能再优化，gmp mpc这些组件不用一个个编译，直接./contrib/download_prerequisites即可

作者
Author: abin 时间: 2022-3-23 20:07

djjj148 发表于 2022-3-23 19:59
gcc还好，来来回回就configure、make 、make install和export ，和编译其他程序没有什么本质区别，装成功 ...

我只是用一个例子，演示，
要手动编译gcc，
gcc又要a，
a又要b，b又要c，
那么手动应该如何搞？

过程繁琐……
这也体现出了Linux 上的包管理器多么有用。
一个install就搞定了……手动要好久的。

多个版本，也不用来回删除呀……
目录名后面多一个标注就行了，
用哪一个激活哪一个多方便。

把所有的初始化一股脑写bashrc ，
真愚蠢到家了。

作者
Author: ggdh 时间: 2022-3-23 20:13
我折腾过一段时间的stream 9
yum上有不少软件没有,不方便
现在切换到fedora了, 感觉很爽

作者
Author: djjj148 时间: 2022-3-23 20:17
本帖最后由 djjj148 于 2022-3-23 20:21 编辑

abin 发表于 2022-3-23 20:07
我只是用一个例子，演示，
要手动编译gcc，
gcc又要a，

如果在编译gcc过程中用./contrib/download_prerequisites，那编译gcc就是只编译gcc1个，不需要a,b,c，也就是你刚开始编译的gmp那些组件，在我的笔记里，整个编译过程就7条命令（包括解压安装包），直接复制适当修改版本号就可以。所以我说还好。

当然我现在针对的是我的情况，我用linux几年了，编译新的gcc花费的60分钟，和从7.6换到8所需要心学习的命令知识的成本对比。

关于bashrc的事，有经验的人都会动态加载环境变量的

作者
Author: djjj148 时间: 2022-3-23 20:33

ggdh 发表于 2022-3-23 20:13
我折腾过一段时间的stream 9
yum上有不少软件没有,不方便
现在切换到fedora了, 感觉很爽

fedora是用在集群还是个人电脑？

作者
Author: abin 时间: 2022-3-23 20:42

djjj148 发表于 2022-3-23 20:17
如果在编译gcc过程中用./contrib/download_prerequisites，那编译gcc就是只编译gcc1个，不需要a,b,c，也 ...

赞同你所讲。

对于没有经验的用户而言，
直接使用脚本预设的下载，
可能会问题更多……
也许会遭遇网络问题……
而他们，很难理解或者觉察到是网络的问题。

看很多人讲CP2K toolchain 各种问题，各种报错，
就晓得，网络不稳定还是很常见的。
也许CP2K 的开发者，很难理解，
这玩意怎么会保存呢！

某次，学生问我高斯手册，
我给了链接 Gaussian.com，
结果对方微信给我好几个问号。
我去现场指挥，
我说打开浏览器，输入这个地址……
学生只发愣……
然后我表演了，哪个是浏览器，
浏览器中输入地址，打开。
学生的反馈是，这东西还能自己写地址呀，
我以为百度给啥就点啥呢！

对于这种学生，
如果教程写，路径是/home/tom ，请根据实际，替换用户名。
肯定是搞不定的。
因为对了字符串 /home/tom 根本不会有任何反应，什么是用户名。

回到我提供的演示视频，
编译gcc不是目的。目的是演示，合理使用 export XXX=$HOME/path
就可以解决九成以上的问题的。
再说了，有经验的用户，谁看这种视频浪费时间呀。
经验丰富的用户，给一两个关键词，就解决问题了。

以上，仅代表个人观点。

作者
Author: sobereva 时间: 2022-3-24 14:55

djjj148 发表于 2022-3-23 19:17
请教sob老师，centos 7除了gcc旧还有什么其他值得淘汰的理由吗？比如速度不如 centos 8？
1. 我试用过ce ...

速度没什么区别
关键就是7的软件、库太老
也不能永远用7。8比7没太大变化，主要也就是图形界面（可以稍微修改修改弄成7的风格），新加了个dnf（yum还能继续用），软件源包含的程序有所变化。

作者
Author: ggdh 时间: 2022-3-24 17:29

djjj148 发表于 2022-3-23 20:33
fedora是用在集群还是个人电脑？

4个节点的个人用小集群

作者
Author: biogon 时间: 2022-3-24 18:04
滚动更新版本有概率滚炸了，给计算机器是绝对不能用的，最多自己办公机器使用

作者
Author: abin 时间: 2022-3-24 19:35
Fedora 挺棒的……
最近看过32，默认界面很好看的。
也很稳定的。
我读书期间，用过三年……没出过问题。
后来用debian 了，为了显得高大上……
服务器centOS。
当前有一个台式机，是ubuntu ，运行四年多，有崩溃过，不过修复了……
不过ubuntu自己改的东西很多……

作者
Author: djjj148 时间: 2022-3-25 09:24

sobereva 发表于 2022-3-24 14:55
速度没什么区别
关键就是7的软件、库太老
也不能永远用7。8比7没太大变化，主要也就是图形界面（可以稍 ...

谢谢sob老师，以后没有centos 9了，8和7即将停止，老师觉得rocky linux 8如何？我在虚拟机上试了一下，装集群软件啥的都没问题，和centos 8比确实感觉不出区别。
老师以后会用rocky linux 8吗？

作者
Author: sobereva 时间: 2022-3-25 11:05

djjj148 发表于 2022-3-25 09:24
谢谢sob老师，以后没有centos 9了，8和7即将停止，老师觉得rocky linux 8如何？我在虚拟机上试了一下，装 ...

rocky linux完全可以用
对于一般用户来说和CentOS 8 stream没区别

作者
Author: 万里云 时间: 2022-3-25 15:20

abin 发表于 2022-3-24 19:35
Fedora 挺棒的……
最近看过32，默认界面很好看的。
也很稳定的。

Fedora内核版本飙得太厉害了，隔三岔五就更新。在虚拟机里装的话，要不停地跟着更新增强工具。

不过Fedora有一个好处，就是虽然激进，但安装包质量有保证。比如源里的MPI版本的QE运行没有任何问题。相比之下，ubuntu源里的程序……还是自己从头编译得好。

Ubuntu就是个网红系统，盛名之下其实难副，还喜欢搞些非主流设置。

作者
Author: 万里云 时间: 2022-3-25 15:25
推荐一波openSUSE，非常稳。每年停机维护的时候更新一个小版本号就可以了。

安装的时候不要用默认的btrfs文件系统。

作者
Author: gog 时间: 2022-4-21 21:18
本帖最后由 gog 于 2022-4-27 17:52 编辑

万里云发表于 2022-3-25 15:20
Fedora内核版本飙得太厉害了，隔三岔五就更新。在虚拟机里装的话，要不停地跟着更新增强工具。

不过Fe ...

Fedora流畅性和稳定性一流。也确实好用。很多常用的计算和分析的工具，自己独立编译，难度很大。
Ubuntu中，很多计算和分析用的工具，已经编译测试过，非常容易安装，安装好了就能使用。这个倒是比较省事。

作者
Author: lifukunok 时间: 2022-7-13 15:59
学习了，谢谢！

欢迎光临计算化学公社 (http://bbs.keinsci.com/)