课题组小集群配置求助

zhuchenkaust · 发表于 Post on 2024-5-1 01:29:10

本帖最后由 zhuchenkaust 于 2024-5-1 01:42 编辑

课题组准备配置一个小集群，只用于gaussian 16的计算，没有跨节点并行计算的需求。计算的体系一般是小于250个原子（1000个电子）的有机体系或者过渡金属配合物体系。
计划购买1个管理存储节点和5-8个计算节点。学校采购较灵活，taobao商家可以竞价。

1. 计算节点是否应按照sob的帖子，选择性价比较高的7R32的配置单？

CPU：2*AMD EPYC 7R32（单颗48核96线程，基频2.8，全核满载3.3 GHz） 2*5800
主板：技嘉MZ72-HB0  5600
显卡：主板集显
内存：16*32GB=512GB 镁光/现代/三星DDR4-3200 ECC REG  16*320
硬盘：希捷银河企业级 7E10 4TB 256MB 7200rpm SATA3 (ST4000NM000B)  960
固态硬盘：三星PM9A1 2TB  980
电源：先马黑钻1000W 700
机箱：追风者614PC + 3个普通14 cm机箱风扇  750
散热器：2*猫头鹰NH-U12S TR4-SP3双风扇  2*720
键盘鼠标：罗技MK200 多媒体套装  80

还是应该选择3代epyc的7B13/7J13这种？

2. 管理存储节点应该选择什么样的配置？

3. 如果没有跨节点并行计算的需求，网络应该选择怎样的配置？

4. 这一套配置预算大约需要多少？（5个计算节点的话）

abin · 发表于 Post on 2024-5-1 07:26:30

**集群架构**

节点内多核心并行本地读写

https://hpc4you.github.io

Intra-node Local-I/O Cluster

**计算节点**

处理器: 7742或者7R32双路
内存: 32G x 16
硬盘1: 240G SATA, 系统
硬盘2: 2TB NVMe, 读写缓存

主板、电源等零件, 适配就可以.

**登录管理兼存储**

处理器: 7R32或者更低规格处理器, 1颗.
内存: 16G x 8
硬盘规格1: 1TB SATA 固态x2, RAID1, 做系统
硬盘规格2: 8TB/16TBx5, RAID5, 存放数据.

如果硬盘接口够用, 不考虑后续其他扩展,
管理/登录/存储节点, 可以使用7950x之类的PC平台处理器, 进一步降低成本.

**网络**

由于采用节点内本地读写缓存方案,
用板载的千兆以太网即可.

也正因为采用节点内读写方案, 登录和管理节点的压力是十分小的.
用什么网络都可以解决.

如果考虑到后期有扩展的机会, 建议采用单独的存储/管理节点.

**温馨提示**

这种应用场景的集群, 其实登录/管理/存储节点的压力非常小.
如果大家都可以遵循使用调度脚本来操作,
那么使用其中任何一台计算节点兼任登录/存储/管理, 是完全可以的.

如想,更加稳定, 便于维护和使用,
采用单独一台低配置/低规格的机器, 承担管理/存储/登录, 是更加靠谱的方案.

**实际案例**

https://gitee.com/hpc4you/redstar

你看看, 这个登录/存储/管理, 配置弱鸡的厉害吧?
不过一直在稳定运行, 集群满负荷的时候, 该登录管理机器的负载低于1.0.

**联系我**

如有需要, 可以联系我.
可以提供硬件+集群系统全套, 可以做到开箱即用.

如果您没有任何硬件动手能力, 我特别建议, 您在本地找一个可以上门服务的硬件供货商.
网购的硬件, 如果出现问题, 都是寄修的. 你能接受寄修的话, 那就无所谓了.

至于“集群系统”, 商家基本都能搞定的.
如果搞不定, 可以联系我.

zhuchenkaust · 发表于 Post on 2024-5-8 11:00:36

abin 发表于 2024-5-1 07:26
**集群架构**

节点内多核心并行本地读写

感谢信息！

janstao · 发表于 Post on 2024-5-9 21:14:52

数据非常重要的话，管理节点一定要RAID6，CPU用7282这种的单路就可以。网络用万M。全套下来大概17W。

zhuchenkaust · 发表于 Post on 2024-5-13 14:14:40

本帖最后由 zhuchenkaust 于 2024-5-13 16:47 编辑

如果每个任务都只提交32核，很多任务并行的跑的情况下，是购买7R32双路、7B13双路、还是干脆9654双路性价比高一些？

abin · 发表于 Post on 2024-5-13 16:34:47

楼上讲的是9654吧？

比如双路192个核心，
跑六个32个核心的计算，
可能效果并不理想……
具体在于内存与核心之间的关系，
关键词有CCX/CCD/DIE，我不是很明白，不敢瞎解读……

根据我看到的有限的资料来看，
跑多个任务，效果不怎么理想。

能买zen3，就不要买zen2了。

一般都推荐买新不买旧。

zhuchenkaust · 发表于 Post on 2024-5-13 16:48:58

abin 发表于 2024-5-13 16:34
楼上讲的是9654吧？

比如双路192个核心，

是的，不好意思，打错字了，是9654。
所以zen 234代，您是推荐第三代的7B13是吧？如果是32核多任务跑的情况。

abin · 发表于 Post on 2024-5-13 18:01:01

zhuchenkaust 发表于 2024-5-13 16:48
是的，不好意思，打错字了，是9654。
所以zen 234代，您是推荐第三代的7B13是吧？如果是32核多任务跑的 ...

钱没问题的情况下，
买新不买旧。

如果是使用科研经费，
而且还不是一台机器……
就不要过多考虑性价比的事情了。

可能，硬件角度的性价比做到了，
在配置调试方面有需要更多的成本……

除非，你只考虑硬件，其他根本不用操心。

当前，最好是，所有处理器所支持的指令集一致……
否则会遭遇部分麻烦。

DFVFCA · 发表于 Post on 2024-5-19 00:02:02

7r32怎么要6000了，上当了

zhangshuxin · 发表于 Post on 2025-7-31 13:46:11

abin 发表于 2024-5-1 07:26
**集群架构**

节点内多核心并行本地读写

我看了您网站的集群，计算节点是8369B 双路和E5-2692 v2 双路，我想问一下，计算节点能否intel和AMD处理器混用呢，然后统一slurm调度，这样指令集会不会出问题

科学计算 · 发表于 Post on 2025-7-31 17:19:58

zhangshuxin 发表于 2025-7-31 13:46
我看了您网站的集群，计算节点是8369B 双路和E5-2692 v2 双路，我想问一下，计算节点能否intel和AMD处理 ...

AMD和Intel一般是不能混用的。跑出问题耗费精力不值当。

abin · 发表于 Post on 2025-8-1 13:39:29

zhangshuxin 发表于 2025-7-31 13:46
我看了您网站的集群，计算节点是8369B 双路和E5-2692 v2 双路，我想问一下，计算节点能否intel和AMD处理 ...

在用户层面,
多数应用程序的编译, 可以忽略指令集差异.

虽然AMD/Intel处理器物理接口不同, 内在微结构不同;
不过都是x86_64处理器, 比如都支持SSE4.2, AVX, AVX2, AVX512指令集,
对于科学计算程序而言, 这方面可以认为没有差异.

对于默认使用-xHost编译得到的二进制, 显然需要区分处理器规格了.

简单来说, 可以分别在Intel, AMD处理器编译, 或者针对不同的规格的处理器,
都编译一个版本, 在调度器中判定处理器规格, 再自动选择对应的版本.

显然, 如果需要多机器并行跑一个计算任务, 处理器的规格最好一样, 以免任务无法运行或者木桶效应, 导致计算奇差.

如同楼上提到, “AMD和Intel一般是不能混用的”.
混用也是可以的, 注意事项上面刚刚说过了.

对于调度器而言, 无法就是一台机器有多少CPU核心, 多少内存, 几颗处理器, 几个处理器插座/接口, 有没有GPU, 以及你自定义的任何其他可以用来管控的东西/物件.

一般而言, 将同一个规格处理器的机器, 放在一个partition.

如果追求源码编译效率, 建议针对每一个规格的处理器都做一个对应版本的二进制.

zdb · 发表于 Post on 2025-8-1 17:32:27

五月份的帖子，不知道你配置了没，既然都用准备上集群了5-6台，为什么还在选择7003的处理器，直接用9654不是更好吗？在你计算体系小，不准备跨节点的情况下集群只有一个功能就是方便管理；
可以直接配上两台9654，两台机器互联做双子塔，空间也剩下来了，直接放在办公室就可以，

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[配置讨论] 课题组小集群配置求助