DFT、MD计算服务器求推荐（7R32、9654）7月4日修改

GN12318 · 发表于 Post on 2023-5-26 18:57:30

本帖最后由 GN12318 于 2023-7-4 13:52 编辑

各位老师好，课题组打算搭建一个1000核的小集群，7R32是公社里强推的CPU，9654是偶尔能看见被推荐的，应该选哪一个？

都是
Mellanox INFINIBAND 100GB 36 口 IB 交换机
7R32预算52W，9654预算79W, 供应商没有提到储存节点
我知道卖服务器的公司赚了不少钱，但是现在导师就我一个学生，所有杂活都让我干，实在是没时间没精力DIY了，求求各位老师说说推荐哪款，大致报价应该是多少？我去砍砍价

Entropy.S.I · 发表于 Post on 2023-8-18 14:03:43

tianmafei 发表于 2023-8-18 11:34
请问老师，您提到的Mellanox MCX556A-EDAT是全新的价格还是二手的价格？您有渠道商家的联系方式，方便给 ...

3000是tb上的二手，带店保的那种。全新是5000左右。当然这是批发价。

现在全新的100G IB卡，MCX651105A-EDAT性价比也比较高，批发价不到5000。MCX556A-EDAT是双口，所以即使是更老的CX5芯片，也没比单口CX6便宜。要不要双口，就看具体需求了，楼主这种机器很少、交换机端口富裕的情况，双口就比较合适。

“联系方式”是不能在这里公开的。

tianmafei · 发表于 Post on 2023-8-18 11:34:25

Entropy.S.I 发表于 2023-7-4 11:44
改了帖子内容就自己回帖顶一下。如果不是有人还记得你这帖子原来的内容并且点进来看，这帖子就石沉大海了。 ...

请问老师，您提到的Mellanox MCX556A-EDAT是全新的价格还是二手的价格？您有渠道商家的联系方式，方便给我用用吗？

beowulf · 发表于 Post on 2023-8-8 19:30:38

tianmafei 发表于 2023-8-8 08:32
老师好！您提到：双路EPYC 9654 + 768GB内存的整机，一台的性能顶两台以上的配置1，超微整机价格目前是13 ...

超微的diy，你去看看超微对应genoa的服务器，双路的应该是hyper那个系列的，然后
加上处理器和内存，市面价格就是上面说的十三四万。

tianmafei · 发表于 Post on 2023-8-8 08:32:49

Entropy.S.I 发表于 2023-5-26 19:21
全部严重溢价。7R32、7B13的性价比是你图中配置的近2倍（单价只有图中配置的一半）。如果经销商拿“不做二 ...

老师好！您提到：双路EPYC 9654 + 768GB内存的整机，一台的性能顶两台以上的配置1，超微整机价格目前是13~14万/台。您能告知超微的是哪个型号吗？或者去哪里能看到。谢谢！

Entropy.S.I · 发表于 Post on 2023-7-13 16:01:49

本帖最后由 Entropy.S.I 于 2023-7-13 16:03 编辑

GN12318 发表于 2023-7-13 15:08
前辈，我又修改了一下，能麻烦你再帮忙看看吗？

完全没看出来改在哪了，编辑时间都没变

建议参考此贴回复http://bbs.keinsci.com/thread-38538-1-1.html

GN12318 · 发表于 Post on 2023-7-13 15:15:26

yzh 发表于 2023-7-4 13:28
为啥每个节点不配置一样的机器，管理起来也方便么？

不懂啊，按理来说是为了降低成本，管理节点性能比计算节点的配置差一些

GN12318 · 发表于 Post on 2023-7-13 15:14:41

AIchaosuan666 发表于 2023-7-5 14:21
最后敲定了么

还没，感觉怎么都是坑啊，现在导师和卖服务器的都在催

GN12318 · 发表于 Post on 2023-7-13 15:08:31

Entropy.S.I 发表于 2023-7-4 11:44
改了帖子内容就自己回帖顶一下。如果不是有人还记得你这帖子原来的内容并且点进来看，这帖子就石沉大海了。 ...

前辈，我又修改了一下，能麻烦你再帮忙看看吗？

Picardo · 发表于 Post on 2023-7-5 22:30:58

楼主后来买的哪个，

abin · 发表于 Post on 2023-7-5 15:10:06

我来写点想法.

如果计算都是单机多核心跑, 没有必要使用IB网络设备.

如果的确计算多机器多核心并行跑, IB是必备的.
但是吧, IB不是插上去就可以用.

举个例子, IB配置正确, 至少56Gbps IB,
网络读写, 至少1.3GB/s,
做顺序读写测试, 128进程, 4K随机读写
Jobs: 128 (f=128): [r(128)][100.0%][r=504MiB/s][r=129k IOPS][eta 00m:00s
也就是IOPS可以至少129K.

但是不会配置, 网络读写, 大概之后600MB/s, 4K读写就很差劲了.

3块16TB硬盘, 是用来搞笑的吗?  不要告诉我你用来做RAID5.

管理节点, 用不到那么高的配置.
因为你机器不多,就算是采用IB网络,
管理兼任存储的话, CPU也要负责部分RDMA开销, 使用8核心16线程的一颗处理器就搞定了.
配置64GB或者128GB内存是必须的, 用来做缓存.

IB还有一个要命的地方是, MPI未必能开箱即用, 需要调试.
一个简单的判据是: 安装btop, 如果机器多节点运行, btop显示网卡ib0等, 有巨量的网络流量,
那么恭喜你, 你的IB是配置错误的. 多节点计算很慢的.

注意, 我再重复一次:
一个简单的判据是: 安装btop, 如果机器多节点运行, btop显示网卡ib0, 或者ib1, 具体名称不同,  有巨量的网络流量,
那么恭喜你, 你的IB是配置错误的. 多节点计算很慢的.  对这种情况, IB是配置错误的.

对了,
如果你还没有搞定你的需求, 我和朋友的公司, 可以对接你提到的需求.

另, 集群配置可以参考 https://hpc4you.github.io/

AIchaosuan666 · 发表于 Post on 2023-7-5 14:21:58

最后敲定了么

yzh · 发表于 Post on 2023-7-4 13:28:48

为啥每个节点不配置一样的机器，管理起来也方便么？

Entropy.S.I · 发表于 Post on 2023-7-4 11:44:26

改了帖子内容就自己回帖顶一下。如果不是有人还记得你这帖子原来的内容并且点进来看，这帖子就石沉大海了。

EPYC Genoa具有12个内存通道，对于双路机器应当配置24条DIMM，32GB*24=768GB或64GB*24=1.5TB。

IB卡和SSD应当写明型号。尤其是IB卡应当使用支持PCIe Gen4 x16者，例如Mellanox MCX556A-EDAT（非ECAT）。支持PCIe Gen4 x16最直接的好处是连接2条物理链路后2条链路可同时达到100Gbps速率，总和200Gbps。Mellanox MCX556A-EDAT当前价格约￥3000，再考虑到光模块、交换机等，整体比基于CX6的单口200G方案便宜得多。

另外，你要从头搭建集群，为什么不把存储节点、管理节点的配置摆出来？根据经验，存储节点里面的油水比计算节点多多了。

lisasever · 发表于 Post on 2023-6-13 10:36:38

sss668800 发表于 2023-5-30 09:15
并不是懒，各个商家我都问过。

淘宝那边商家因为资质以及嫌回笼资金慢，绝大多数不愿走政府采购。

这样来看选择让商家把钱给自己去买是最合适的？

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[计算机购买] DFT、MD计算服务器求推荐（7R32、9654）7月4日修改