DFT、MD计算服务器求推荐（7R32、9654）7月4日修改

GN12318

各位老师好，课题组打算搭建一个1000核的小集群，7R32是公社里强推的CPU，9654是偶尔能看见被推荐的，应该选哪一个？

都是
Mellanox INFINIBAND 100GB 36 口 IB 交换机
7R32预算52W，9654预算79W, 供应商没有提到储存节点
我知道卖服务器的公司赚了不少钱，但是现在导师就我一个学生，所有杂活都让我干，实在是没时间没精力DIY了，求求各位老师说说推荐哪款，大致报价应该是多少？我去砍砍价

GN12318

节点数7R32 10，9654节点数5
另外，售后服务是不是一般都等于没有？

Entropy.S.I

GN12318 发表于 2023-5-26 19:00
第一个预算52W
第二个68W
第三个69W

计算节点台数？

GN12318

Entropy.S.I 发表于 2023-5-26 19:05
计算节点台数？

第一个到第四个分别是8， 8 ， 12， 16，谢谢老师

GN12318

第一个到第四个计算节点台数分别是8， 8 ， 12， 16

Entropy.S.I

全部严重溢价。7R32、7B13的性价比是你图中配置的近2倍（单价只有图中配置的一半）。如果经销商拿“不做二手”为由拒绝，那么直接换一家。

如果你觉得现在这个性价比能接受，那么建议去买双路EPYC 9654 + 768GB内存的整机，一台的性能顶两台以上的配置1，超微整机价格目前是13~14万/台。

yezhonghua

这种配置一看就是整机厂，忽悠小白的，这些配置自己买能便宜60%以上。你自己慢慢品就是了。

janstao

AMD的就用7R32双路，Intel的就用8336双路，都是性价比极高的。至于价格没法评论啊，象必须走政府采购这这种渠道的，价格高也得忍，除非你那有自主采购权。

Entropy.S.I

janstao 发表于 2023-5-29 13:06
AMD的就用7R32双路，Intel的就用8336双路，都是性价比极高的。至于价格没法评论啊，象必须走政府采购这这种 ...

阅读http://bbs.keinsci.com/thread-35988-1-1.html 第5节

政采不代表完全不能自主决定配置，都是懒罢了

sss668800

Entropy.S.I 发表于 2023-5-29 13:09
阅读http://bbs.keinsci.com/thread-35988-1-1.html 第5节

政采不代表完全不能自主决定配置，都是懒罢 ...

并不是懒，各个商家我都问过。

淘宝那边商家因为资质以及嫌回笼资金慢，绝大多数不愿走政府采购。

政采 云 那波商家，对这类OEM产品通常没有进货渠道，做不了质保的他是不敢进的，万一坏了个cpu这单就赔了。

让政采 云 那波商家去淘宝买？他们更愿意给你走个流程，收个手续费，直接把现金给你，让你自己去淘宝买。

lisasever

sss668800 发表于 2023-5-30 09:15
并不是懒，各个商家我都问过。

淘宝那边商家因为资质以及嫌回笼资金慢，绝大多数不愿走政府采购。

这样来看选择让商家把钱给自己去买是最合适的？

Entropy.S.I

改了帖子内容就自己回帖顶一下。如果不是有人还记得你这帖子原来的内容并且点进来看，这帖子就石沉大海了。

EPYC Genoa具有12个内存通道，对于双路机器应当配置24条DIMM，32GB*24=768GB或64GB*24=1.5TB。

IB卡和SSD应当写明型号。尤其是IB卡应当使用支持PCIe Gen4 x16者，例如Mellanox MCX556A-EDAT（非ECAT）。支持PCIe Gen4 x16最直接的好处是连接2条物理链路后2条链路可同时达到100Gbps速率，总和200Gbps。Mellanox MCX556A-EDAT当前价格约￥3000，再考虑到光模块、交换机等，整体比基于CX6的单口200G方案便宜得多。

另外，你要从头搭建集群，为什么不把存储节点、管理节点的配置摆出来？根据经验，存储节点里面的油水比计算节点多多了。

yzh

为啥每个节点不配置一样的机器，管理起来也方便么？

AIchaosuan666

最后敲定了么

abin

我来写点想法.

如果计算都是单机多核心跑, 没有必要使用IB网络设备.

如果的确计算多机器多核心并行跑, IB是必备的.
但是吧, IB不是插上去就可以用.

举个例子, IB配置正确, 至少56Gbps IB,
网络读写, 至少1.3GB/s,
做顺序读写测试, 128进程, 4K随机读写
Jobs: 128 (f=128): [r(128)][100.0%][r=504MiB/s][r=129k IOPS][eta 00m:00s
也就是IOPS可以至少129K.

但是不会配置, 网络读写, 大概之后600MB/s, 4K读写就很差劲了.

3块16TB硬盘, 是用来搞笑的吗?  不要告诉我你用来做RAID5.

管理节点, 用不到那么高的配置.
因为你机器不多,就算是采用IB网络,
管理兼任存储的话, CPU也要负责部分RDMA开销, 使用8核心16线程的一颗处理器就搞定了.
配置64GB或者128GB内存是必须的, 用来做缓存.

IB还有一个要命的地方是, MPI未必能开箱即用, 需要调试.
一个简单的判据是: 安装btop, 如果机器多节点运行, btop显示网卡ib0等, 有巨量的网络流量,
那么恭喜你, 你的IB是配置错误的. 多节点计算很慢的.

注意, 我再重复一次:
一个简单的判据是: 安装btop, 如果机器多节点运行, btop显示网卡ib0, 或者ib1, 具体名称不同,  有巨量的网络流量,
那么恭喜你, 你的IB是配置错误的. 多节点计算很慢的.  对这种情况, IB是配置错误的.

对了,
如果你还没有搞定你的需求, 我和朋友的公司, 可以对接你提到的需求.


另, 集群配置可以参考 https://hpc4you.github.io/