计算化学公社

标题: 基于8375c这样的配置是否合理？ [打印本页]

作者
Author: hgyhgy 时间: 2022-3-2 10:08
标题: 基于8375c这样的配置是否合理？
本帖最后由 hgyhgy 于 2022-3-2 11:07 编辑

参考了版主的推荐配置。计算化学购机配置推荐 - 思想家公社的门口：量子化学·分子模拟·二次元 (sobereva.com)

3台 8375C作为计算节点，安装centos 8.5 最小安装，ssh，nfs。一台i5作为提交作业，共享磁盘，处理数据的主控节点，安装centos 8.5 包括图形界面.  ssh，nfs，主板内置千兆网卡地址设为静态ip，以避免机器重启ip地址的变动。在主控节点安装slurm，管理作业。
通过千兆交换机把主控节点和计算节点连接。主控节点多加一个千兆网卡与外界连接（路由器），ip地址动态获取，通过路由器管理界面可获得主控节点外加网卡的ip地址。
计算节点配置为可以通过主控节点的网卡转发上网，以便在计算节点访问外网获取和安装软件。

CPU：2* XEON Platinum 8375C正式版
散热器：2*金钱豹LGA4189 5热管双风扇散热器
主板：超微X12DPi-N6
固态硬盘：三星PM9A1 256G 和 1TB各一个。
内存：16*三星DDR4-3200 ECC REG 32GB
电源：海韵prime GX1300 额定1300W
机箱：追风者614PC额外给CPU1 MOS增加散热片。
机箱顶部和机箱底部额外安装追风者温控风扇。顶部两个14cm，底部两个12cm。以避免可能出现的主板供电温度超出上限（100度）的潜在问题。

CPU：i5 10500（六核3.1G，盒装，集显）
主板：技嘉B560M H
散热器：酷冷至尊暴雪T400V2
内存：2* 金士顿 DDR4-2666 16GB
电源：振华冰山金蝶450战斗版（额定450W）
机箱：任意
固态硬盘：三星PM9A1 1TB
机械硬盘：希捷企业级银河Exos 4TB 256MB 7200rpm SATA3 (ST4000NM000A)
机械硬盘：希捷企业级银河Exos 4TB 256MB 7200rpm SATA3 (ST4000NM000A)
主板已有一个千兆网卡。
外加一个千兆网卡。
千兆交换机与网线。
wifi路由器。

如果资金足，还可以把主控节点换成，这样主控节点也能进行小体系的计算。
CPU：2* XEON E5-2696 v3（18核2.3G，散，无集显）
散热器：2* 利民AS120
主板：超微 X10DRL-I（C612芯片组，集显）
固态硬盘：三星PM981a 1TB + M.2到PCI-E转换卡
机械硬盘：希捷企业级银河Exos 4TB 256MB 7200rpm SATA3 (ST4000NM000A)
机械硬盘：希捷企业级银河Exos 4TB 256MB 7200rpm SATA3 (ST4000NM000A)
内存：8* 三星DDR4-2400 ECC REG 16GB
电源：振华LEADEX HG 650W
机箱：追风者614PC

主要用于VASP计算。

主要的考虑因素：
内存即使采用16G, 资金也不足以购买4台。32G内存，能计算的体系更大。
增加一个主控节点，可以把机械硬盘都放置到主控节点，避免计算节点可能出现散热问题。以及避免处理数据时对计算节点产生影响，也可以远程登录主控节点的图形界面。
计算节点采用1T固态硬盘。软件既可以安装在计算节点的固态硬盘上，也可以安装在nfs（主控节点的共享磁盘）上。从稳定性的角度，可能是计算节点有两个固态硬盘比较好。
计算节点，额外有一个计算用磁盘，可能会满足未知需求，使用千兆网的nfs相对来说可能比较慢。以后再要购买，就可能有点麻烦了。
采用塔式机箱，主要基于散热以及噪音不能太厉害。对噪音要求不高，但过于厉害，人也受不了，据说全速运行，像飞机起飞。没有专门机房。
采用千兆网，是因为机器都内置有千兆网卡，成本低些。网上有测试表明，对于vasp，千兆和万兆网，双节点并行的效率一样。3节点并行，万兆虽然比千兆的要快，但比双节点还慢，意义不太大。
计算节点不直接连接路由器，避免静态ip可能导致的ip冲突。

作者
Author: abin 时间: 2022-3-2 10:33
“3台 8375C作为计算节点，安装centos 8.5 最小安装，ssh，nfs。一台i5作为提交作业，共享磁盘，处理数据的主控节点，安装centos 8.5 包括图形界面. ssh，nfs，主板内置千兆网卡地址设为静态ip，以避免机器重启ip地址的变动。在主控节点安装slurm，管理作业。
通过千兆交换机把主控节点和计算节点连接。主控节点多加一个千兆网卡与外界连接（路由器），ip地址动态获取，通过路由器管理界面可获得主控节点外加网卡的ip地址。
计算节点配置为可以通过主控节点的网卡转发上网，以便在计算节点访问外网获取和安装软件。”
不用怀疑行不行,
我之前通过电邮给你的集群架构方案, 已经有详细的描述.
不用怀疑示意图中标注的东西是不是在坑你.
在专业术语中, 这种集群架构术语是beowulf cluster.
肯定会要求, master/控制节点, 必须两个网卡; master和所有slave/计算节点, 连接到一个局域网.

如果限定VASP并行计算, 仅仅在一个节点内,
使用100Mbps都够, 不过现在1000Mbps是标配了.

告诉你软件安装在机械硬盘, 或者使用1000Mbps会慢的商家,
要么是白痴, 要么是根本没有自己使用或者搭建过集群.

另外, 如果你的VASP并行都限定在一个节点内,
可以省略所有计算节点上的大容量固态硬盘, 这玩意一点用都没有. (在仅仅跑VASP计算的情形下).

主控节点, 建议采用支持的指令集和干活节点一样的处理器.
以免遭遇部分代码编译后, 不能运行的问题.

建议, 主控节点, 系统+软件采用分离的硬盘设定.

完毕.

作者
Author: hgyhgy 时间: 2022-3-2 10:48

abin 发表于 2022-3-2 10:33
“3台 8375C作为计算节点，安装centos 8.5 最小安装，ssh，nfs。一台i5作为提交作业，共享磁盘，处理数据的 ...

谢谢。

主控节点，主要要考虑是否超预算。可登录计算节点直接编译软件，软件直接安装在本地磁盘或nfs上。至于计算节点的固态硬盘。还有一个申请购买的问题，也不能排除是否出现需要高速硬盘的未能预计的情形。vasp虽然是对硬盘要求很低，但有高速硬盘，也有高速硬盘的用法的，比如写波函数文件WAVCAR与读WAVCAR，这样暂停任务与续算任务速度就会快些了。

不过，削减这个固态硬盘，也是可以考虑的。削减了，说不定就够买那个好一点的主控节点。

作者
Author: abin 时间: 2022-3-2 10:59

hgyhgy 发表于 2022-3-2 10:48
谢谢。

主控节点，主要要考虑是否超预算。可登录计算节点直接编译软件，软件直接安装在本地磁盘或nfs ...

如果波函数文件平均小于200MB,
那么可以直接砍掉大容量固态硬盘.

就几个节点, 读这个文件, 也不是一秒来几百次.
200MB的文件, 通过1000Mbps网络读写, 也就是2~3秒;
如果多个进程, 同时读取一个波函数文件, 直接读缓存了, 大概不到5秒.

或者你有功夫的话, 直接搞成stateless模式, 也就是计算节点, 硬盘都不要.

作者
Author: hgyhgy 时间: 2022-3-2 11:10

abin 发表于 2022-3-2 10:59
如果波函数文件平均小于200MB,
那么可以直接砍掉大容量固态硬盘.

我估计大小可能会1G到5G吧。其实一般都不用这个来暂停以及继续任务的，因为体积大。小体系自然没必要读写这个。如果每一个电子步要花1个小时那种，那就可能有必要。

欢迎光临计算化学公社 (http://bbs.keinsci.com/)