计算化学公社

标题: 打算搭建一个1000核的小集群左右小集群，求推荐计算服务器 [打印本页]

作者
Author: pdc 时间: 2023-9-13 17:10
标题: 打算搭建一个1000核的小集群左右小集群，求推荐计算服务器
各位老师好，课题组打算搭建一个1000核的小集群左右小集群，平时使用MD，vasp软件，这一套配置是否合理
管理节点
CPU 处理器：2 *AMD EPYC 9654
内存：24 *三星 DDR4 16GB 3200MHz

硬盘 1：2 *Intel DC S4510 960GB 企业级 SSD 固态硬盘；

硬盘 2：8* 18TB SATA 3.5 寸 7200 转企业级机械硬盘；

阵列卡：1 *RAID 卡支持 RAID0、1、5、6等；

计算网络：1 *100G IB EDR 网卡，含 1*100G IB 专用光纤级别线缆；

万兆网络：1 *万兆网卡+万兆光纤线缆 1套+配套模块 2 个；
千兆网络：板载 2 端口千兆网卡；1 端口 IPMI 管理接口；
电源：冗余电源；
上架导轨套装；

合计139600元

计算节点（5套）
CPU 处理器：2 *AMD EPYC 9654 96C192T
内存：24*三星 DDR4 16GB 3200MHz
硬盘：1*希捷 4TB 3.5 寸 SATA 企业级硬盘；
计算网络：1*100G IB EDR 网卡，含 1*100GIB 专用光纤级别线缆；
万兆网络：1*万兆网卡+万兆光纤线缆 1套+配套模块 2 个；
千兆网络：板载 2 端口千兆网卡；1 端口IPMI 管理接口；
电源：冗余电源；

每套110200元

Mellanox 36口 100G全速 EDR InfiniBand 交换机 68000元

华三（H3C）S5130 系列千兆网管企业级 2000元

华三（H3C）S6520X-26C-SI 24 口万兆光三层可管理型核心交换机 10000元

作者
Author: pdc 时间: 2023-9-13 17:11
麻烦各位老师帮忙看看这一套配置

作者
Author: Entropy.S.I 时间: 2023-9-13 18:22
本帖最后由 Entropy.S.I 于 2023-9-13 18:30 编辑

1. 9654配DDR4，不知道你找的是什么厂家，我确实不止一次看到过这种离谱配置。完全不可能亮机的配置。甚至插都插不上。

2. 192核配384GB RAM，如果你觉得这样的RAM配比够用，那么无话可说。

3. 计算节点居然给个4TB HDD，意思是要把操作系统装在这个4TB HDD里面？离谱配置。如果说要兼顾临时存储用途，为什么不用SSD？3.84TB PCIe Gen4 x8 NVMe SSD (注意是x8，速度是一般Gen4 x4 NVMe SSD的2倍) 也不过2000一片，图便宜还可以去买SN640等低端货。此外，已经有了集中式存储，计算节点还要搞单独的大容量存储，这对管理和使用来说是灾难。当然，如果你们觉得6台机器，人脑调度可以扛住，那也无话可说。

4. 你这种规模的集群，完全用不着三层交换机，用二层，价格便宜一半还不止。

5. 不知道你所说的MD具体是什么MD，如果是经典MD，使用GPU加速才是正道，这已经是全人类的共识了。

综上，这个配置纯属瞎搞，没有丝毫专业性，经不起任何推敲。

作者
Author: abin 时间: 2023-9-13 19:11
我就不啰嗦了。
当前这个集群配置，是傻子写的。

会很慢。

完毕。

作者
Author: pdc 时间: 2023-9-13 19:58

Entropy.S.I 发表于 2023-9-13 18:22
1. 9654配DDR4，不知道你找的是什么厂家，我确实不止一次看到过这种离谱配置。完全不可能亮机的配置。甚至 ...

老师不好意思打扰你，这个也是别人直接给我们发的，请问一下这个应该怎么改合理呢

作者
Author: pdc 时间: 2023-9-13 20:01

abin 发表于 2023-9-13 19:11
我就不啰嗦了。
当前这个集群配置，是傻子写的。

因为想上双路9654的配置，但是预算在60w以内，怎么改才算合适呢

作者
Author: abin 时间: 2023-9-13 21:09
本帖最后由 abin 于 2023-9-13 21:11 编辑

pdc 发表于 2023-9-13 20:01
因为想上双路9654的配置，但是预算在60w以内，怎么改才算合适呢

恕我直言, 根据你提问的陈述词汇来看,
您并晓得集群的工作模式.

对于你的场景, 根据下面的回答来做硬件方案.

1, 是否需要多节点并行计算. 如果是, 需要在管理节点搭配I/O设备, 比如采用NVMe做RAID0之类方案+100Gbps IB网络. 保留8*18TB 机械阵列做数据存储. 计算节点每台120/240GB固态做系统.

2, 不考虑多节点并行. 保留当前8*18TB机械阵列. 主控节点增加1TB硬盘做系统, 一个1TB固态做软件; 计算节点采用120GB固态+4TB NVMe固态; 取消100Gbps IB网络, 采用普通以太网即可. 主控节点可以降低处理器规格, 采用Zen4架构处理器即可. 设计为6台9654双路即可.

如果你在东北区域, 可以你有选择权的话, 我可以提供完整的解决方案. 其实也可以供货全国的, 比如最远, 香港科技大学, 也有供货的. 不过, 我建议您, 选择能提供上门服务的商家.

祝好.

PS 关于硬件配置方案的讨论, 可以查阅:
https://gitee.com/hpc4you/hpc
https://hpc4you.github.io/

作者
Author: pdc 时间: 2023-9-13 21:33

abin 发表于 2023-9-13 21:09
恕我直言, 根据你提问的陈述词汇来看,
您并晓得集群的工作模式.

我能够有选择权，但是我在湖南

作者
Author: abin 时间: 2023-9-13 23:11

pdc 发表于 2023-9-13 21:33
我能够有选择权，但是我在湖南

用什么方案, 都能跑起来.
当然, 最大的差异就是在于计算效率高低的问题了.

科学计算集群, 是在预算范围内, 选择运行效率最佳的方案.

我还见过使用虚拟机糊弄的: 机器数目多了, 不过是自己糊弄自己而已. . .

作者
Author: pdc 时间: 2023-9-14 00:19
本帖最后由 pdc 于 2023-9-14 01:29 编辑

abin 发表于 2023-9-13 23:11
用什么方案, 都能跑起来.
当然, 最大的差异就是在于计算效率高低的问题了.

打扰老师了，因为刚准备买入计算资源不太懂这个，能麻烦你出一套需要多节点并行计算的方案吗，如何合适的话可以商量一下采购，平时主要使用VASP，DDD，偶尔使用MD，不需要GPU的加速

作者
Author: Entropy.S.I 时间: 2023-9-14 05:30
本帖最后由 Entropy.S.I 于 2023-9-14 05:41 编辑

pdc 发表于 2023-9-13 19:58
老师不好意思打扰你，这个也是别人直接给我们发的，请问一下这个应该怎么改合理呢

前面已经给出解答了。如果你要详细的整套方案，那么三言两语讲不清楚，并且我也没这么多精力干这个。另外，最近各式各样的课题组/个人来问我要计算机/集群配置建议的太多了，网络上还有一些“恰饭警察”和“广告警察”经常来恶心人。

这些日子的感悟：IT硬件行业水极深，属于信息差的重灾区，真要搞清楚怎么搭硬件最合理，基本上大半个身子都要陷到行业内部去。

作者
Author: abin 时间: 2023-9-14 08:59

pdc 发表于 2023-9-14 00:19
打扰老师了，因为刚准备买入计算资源不太懂这个，能麻烦你出一套需要多节点并行计算的方案吗，如何合适的 ...

请仔细阅读呀.
我上文已经给出了方案框架了呀. 我讲了两个场景: 1 多节点并行; 2 单节点多核心并行. 你仔细阅读就可了.

正如Entropy.S.I所言,
搭建集群, 先要确认应用场景, 根据程序的特点, 选择恰当的方案, 在根据预算, 选择能买得到的硬件; 有了硬件后, 在根据以上这些信息, 组建集群.

科学计算集群仅仅是一个笼统的概念, 因应用场景不同、调度管制模式不同, 可以有多种可能的实现方案.

比如, 我们组当前使用的是简单的双路8156+两个16TB机械+240GB系统盘+1TB软件硬盘作为管理登录存储节点, 外加13台计算节点, 计算节点采用240GB系统+2TB NVMe, 主要跑vasp, cp2k, gaussian.

主节点负载长期维持在1.0左右; 虽然使用单个机械硬盘, 但从未出现卡顿问题.

对了集群采用各位都看不上的前兆以太网, 300元的交换机.

自上次停电, 已经稳定运行120多天, 没有任何问题呀.

当然, 如果调度和管制不当, 也就是集群调试不当, 这种配置肯定死翘翘的.

对了, 就这么一个垃圾的8156处理器, 还给20多位同学, 提供HPC-Web端, 丝滑畅通呀.

如果按照曙光浪潮的做法, 恨不得主节点上64核心, RAID5搞一堆硬盘, 就算计算节点安装一个硬盘, 也用RAID卡来一遍, 肯定忽悠上40Gb以太网, 结果是卵用都没有, 还会很卡.

作者
Author: abin 时间: 2023-9-14 10:11
补充一下。

集群方案以及实施，还有最终的调度使用，
涉及到很多层面，
并非简单的个人电脑DIY那种思路，
也并非简单的买一堆硬件就可以搞定。

系统调试和硬件相互关联的，最终决定集群的并行效率。

由于集群的实施方案多种多样，
需结合应用场景和硬件规格，灵活变通。

所以，抛开集群实施方案而单独给硬件配置，纯属无稽之谈。

或者说，我可以给一个硬件方案，
但是实施方案又不合理，导致集群工作效率低下，
还可能被骂，何苦呢……

单机DIY的经验，假定的场景都是游戏或者普通GPU相关，
都是单机模式……系统自身就处理了所有的事情了。

集群模式，是单机➕网络，多机器协同做事……
单机DIY经验，多数不适合的。

作者
Author: janstao 时间: 2023-9-14 21:03
1、管理节点降配，尤其是CPU，不要想管理和计算兼顾
2、内存是DDR5，计算节点那4T就换个SSD吧，现在很便宜的
3、万M是做什么用途？
4、IB交换机搞个二手的，没必要全新。

作者
Author: Entropy.S.I 时间: 2023-9-14 23:16
本帖最后由 Entropy.S.I 于 2023-9-16 05:25 编辑

pdc 发表于 2023-9-13 20:01
因为想上双路9654的配置，但是预算在60w以内，怎么改才算合适呢

你当前的配置单显然超出预算了。如果要60万买到一套包含12颗9654的集群，只能放弃准系统方案，去攒机。当然，本论坛鼓励这种做法。需要注意，攒机不代表只能自己买散件装。据我了解，现在靠谱商家可以把双路9654 + 768GB DDR5 + 7.68TB PCIe Gen4 x8 NVMe SSD的整机做到9万CNY以内，6台，也就是54万CNY以内。

至于存储和组网，强烈建议DIY。我最近就帮自己有课题合作的课题组DIY了一套存储，可用容量160TiB，双口40GbE LACP链路聚合。我的PC通过10G NFS over RoCE在此存储上读写1TiB文件，4k随机读取性能可以达到30KIOPS，4k随机写入（Sync）性能可以达到9KIOPS，128K和1M顺序读写均能跑满10GbE网络。不过目前这套东西在我家里，还没法接入集群来测试所有计算节点同时压榨这台存储时的表现。这套东西，包含交换机（48*10G+4*40G）、计算节点网卡(10G)、光模块、线缆等材料，总共花费3.6万元。之后我会看情况写一篇帖子来记录这次DIY，使其具有可复制性。

如果你想要跨节点并行，那么去掉计算节点的NVMe SSD，存储节点加上若干NVMe SSD组建RAID，使用EDR 100G IB网络，网卡用二手的CX5，交换机用二手的SB7700，粗略估计，这样增加的开销也不会超过4万元。NVMe RAID具体方案：使用9670W-16i阵列卡（tb上不含税1万/片），接8块7.68TB PCIe Gen4 NVMe U.2 SSD，组建RAID5。

不要说搞不了DIY，现实情况下，科研经费里面有一部分可以自主使用，而不需要走单位的集中采购。你这种60万的经费，拿几万出来搞DIY不会有难度。

作者
Author: 1030266769 时间: 2023-10-11 10:56
您好我也在湖南，能留个联系方式嘛，我们课题组也想做个集群，能想跟进一下或者麻烦您加我Q1030266769

作者
Author: yzh 时间: 2023-10-11 14:46
管理节点用9654？这么奢侈么？

欢迎光临计算化学公社 (http://bbs.keinsci.com/)