计算化学公社

标题: DFT、MD计算服务器求推荐（7R32、9654）7月4日修改 [打印本页]

作者
Author: GN12318 时间: 2023-5-26 18:57
标题: DFT、MD计算服务器求推荐（7R32、9654）7月4日修改
本帖最后由 GN12318 于 2023-7-4 13:52 编辑

各位老师好，课题组打算搭建一个1000核的小集群，7R32是公社里强推的CPU，9654是偶尔能看见被推荐的，应该选哪一个？
(, 下载次数 Times of downloads: 40) (, 下载次数 Times of downloads: 39)
都是
Mellanox INFINIBAND 100GB 36 口 IB 交换机
7R32预算52W，9654预算79W, 供应商没有提到储存节点
我知道卖服务器的公司赚了不少钱，但是现在导师就我一个学生，所有杂活都让我干，实在是没时间没精力DIY了，求求各位老师说说推荐哪款，大致报价应该是多少？我去砍砍价

作者
Author: GN12318 时间: 2023-5-26 19:00
本帖最后由 GN12318 于 2023-7-3 16:23 编辑

节点数7R32 10，9654节点数5
另外，售后服务是不是一般都等于没有？

作者
Author: Entropy.S.I 时间: 2023-5-26 19:05

GN12318 发表于 2023-5-26 19:00
第一个预算52W
第二个68W
第三个69W

计算节点台数？

作者
Author: GN12318 时间: 2023-5-26 19:12

Entropy.S.I 发表于 2023-5-26 19:05
计算节点台数？

第一个到第四个分别是8， 8 ， 12， 16，谢谢老师

作者
Author: GN12318 时间: 2023-5-26 19:13
第一个到第四个计算节点台数分别是8， 8 ， 12， 16

作者
Author: Entropy.S.I 时间: 2023-5-26 19:21
本帖最后由 Entropy.S.I 于 2023-5-26 19:27 编辑

全部严重溢价。7R32、7B13的性价比是你图中配置的近2倍（单价只有图中配置的一半）。如果经销商拿“不做二手”为由拒绝，那么直接换一家。

如果你觉得现在这个性价比能接受，那么建议去买双路EPYC 9654 + 768GB内存的整机，一台的性能顶两台以上的配置1，超微整机价格目前是13~14万/台。

作者
Author: yezhonghua 时间: 2023-5-28 09:15
这种配置一看就是整机厂，忽悠小白的，这些配置自己买能便宜60%以上。你自己慢慢品就是了。

作者
Author: janstao 时间: 2023-5-29 13:06
AMD的就用7R32双路，Intel的就用8336双路，都是性价比极高的。至于价格没法评论啊，象必须走政府采购这这种渠道的，价格高也得忍，除非你那有自主采购权。

作者
Author: Entropy.S.I 时间: 2023-5-29 13:09

janstao 发表于 2023-5-29 13:06
AMD的就用7R32双路，Intel的就用8336双路，都是性价比极高的。至于价格没法评论啊，象必须走政府采购这这种 ...

阅读http://bbs.keinsci.com/thread-35988-1-1.html 第5节

政采不代表完全不能自主决定配置，都是懒罢了

作者
Author: sss668800 时间: 2023-5-30 09:15
本帖最后由 sss668800 于 2023-5-30 09:18 编辑

Entropy.S.I 发表于 2023-5-29 13:09
阅读http://bbs.keinsci.com/thread-35988-1-1.html 第5节

政采不代表完全不能自主决定配置，都是懒罢 ...

并不是懒，各个商家我都问过。

淘宝那边商家因为资质以及嫌回笼资金慢，绝大多数不愿走政府采购。

政采云那波商家，对这类OEM产品通常没有进货渠道，做不了质保的他是不敢进的，万一坏了个cpu这单就赔了。

让政采云那波商家去淘宝买？他们更愿意给你走个流程，收个手续费，直接把现金给你，让你自己去淘宝买。

作者
Author: lisasever 时间: 2023-6-13 10:36

sss668800 发表于 2023-5-30 09:15
并不是懒，各个商家我都问过。

淘宝那边商家因为资质以及嫌回笼资金慢，绝大多数不愿走政府采购。

这样来看选择让商家把钱给自己去买是最合适的？

作者
Author: Entropy.S.I 时间: 2023-7-4 11:44
改了帖子内容就自己回帖顶一下。如果不是有人还记得你这帖子原来的内容并且点进来看，这帖子就石沉大海了。

EPYC Genoa具有12个内存通道，对于双路机器应当配置24条DIMM，32GB*24=768GB或64GB*24=1.5TB。

IB卡和SSD应当写明型号。尤其是IB卡应当使用支持PCIe Gen4 x16者，例如Mellanox MCX556A-EDAT（非ECAT）。支持PCIe Gen4 x16最直接的好处是连接2条物理链路后2条链路可同时达到100Gbps速率，总和200Gbps。Mellanox MCX556A-EDAT当前价格约￥3000，再考虑到光模块、交换机等，整体比基于CX6的单口200G方案便宜得多。

另外，你要从头搭建集群，为什么不把存储节点、管理节点的配置摆出来？根据经验，存储节点里面的油水比计算节点多多了。

作者
Author: yzh 时间: 2023-7-4 13:28
为啥每个节点不配置一样的机器，管理起来也方便么？

作者
Author: AIchaosuan666 时间: 2023-7-5 14:21
最后敲定了么

作者
Author: abin 时间: 2023-7-5 15:10
我来写点想法.

如果计算都是单机多核心跑, 没有必要使用IB网络设备.

如果的确计算多机器多核心并行跑, IB是必备的.
但是吧, IB不是插上去就可以用.

举个例子, IB配置正确, 至少56Gbps IB,
网络读写, 至少1.3GB/s,
做顺序读写测试, 128进程, 4K随机读写
Jobs: 128 (f=128): [r(128)][100.0%][r=504MiB/s][r=129k IOPS][eta 00m:00s
也就是IOPS可以至少129K.

但是不会配置, 网络读写, 大概之后600MB/s, 4K读写就很差劲了.

3块16TB硬盘, 是用来搞笑的吗?  不要告诉我你用来做RAID5.

管理节点, 用不到那么高的配置.
因为你机器不多,就算是采用IB网络,
管理兼任存储的话, CPU也要负责部分RDMA开销, 使用8核心16线程的一颗处理器就搞定了.
配置64GB或者128GB内存是必须的, 用来做缓存.

IB还有一个要命的地方是, MPI未必能开箱即用, 需要调试.
一个简单的判据是: 安装btop, 如果机器多节点运行, btop显示网卡ib0等, 有巨量的网络流量,
那么恭喜你, 你的IB是配置错误的. 多节点计算很慢的.

注意, 我再重复一次:
一个简单的判据是: 安装btop, 如果机器多节点运行, btop显示网卡ib0, 或者ib1, 具体名称不同,  有巨量的网络流量,
那么恭喜你, 你的IB是配置错误的. 多节点计算很慢的.  对这种情况, IB是配置错误的.

对了,
如果你还没有搞定你的需求, 我和朋友的公司, 可以对接你提到的需求.

另, 集群配置可以参考 https://hpc4you.github.io/

作者
Author: Picardo 时间: 2023-7-5 22:30
楼主后来买的哪个，

作者
Author: GN12318 时间: 2023-7-13 15:08

Entropy.S.I 发表于 2023-7-4 11:44
改了帖子内容就自己回帖顶一下。如果不是有人还记得你这帖子原来的内容并且点进来看，这帖子就石沉大海了。 ...

前辈，我又修改了一下，能麻烦你再帮忙看看吗？

作者
Author: GN12318 时间: 2023-7-13 15:14

AIchaosuan666 发表于 2023-7-5 14:21
最后敲定了么

还没，感觉怎么都是坑啊，现在导师和卖服务器的都在催

作者
Author: GN12318 时间: 2023-7-13 15:15

yzh 发表于 2023-7-4 13:28
为啥每个节点不配置一样的机器，管理起来也方便么？

不懂啊，按理来说是为了降低成本，管理节点性能比计算节点的配置差一些

作者
Author: Entropy.S.I 时间: 2023-7-13 16:01
本帖最后由 Entropy.S.I 于 2023-7-13 16:03 编辑

GN12318 发表于 2023-7-13 15:08
前辈，我又修改了一下，能麻烦你再帮忙看看吗？

完全没看出来改在哪了，编辑时间都没变

建议参考此贴回复http://bbs.keinsci.com/thread-38538-1-1.html

作者
Author: tianmafei 时间: 2023-8-8 08:32

Entropy.S.I 发表于 2023-5-26 19:21
全部严重溢价。7R32、7B13的性价比是你图中配置的近2倍（单价只有图中配置的一半）。如果经销商拿“不做二 ...

老师好！您提到：双路EPYC 9654 + 768GB内存的整机，一台的性能顶两台以上的配置1，超微整机价格目前是13~14万/台。您能告知超微的是哪个型号吗？或者去哪里能看到。谢谢！

作者
Author: beowulf 时间: 2023-8-8 19:30

tianmafei 发表于 2023-8-8 08:32
老师好！您提到：双路EPYC 9654 + 768GB内存的整机，一台的性能顶两台以上的配置1，超微整机价格目前是13 ...

超微的diy，你去看看超微对应genoa的服务器，双路的应该是hyper那个系列的，然后
加上处理器和内存，市面价格就是上面说的十三四万。

作者
Author: tianmafei 时间: 2023-8-18 11:34

Entropy.S.I 发表于 2023-7-4 11:44
改了帖子内容就自己回帖顶一下。如果不是有人还记得你这帖子原来的内容并且点进来看，这帖子就石沉大海了。 ...

请问老师，您提到的Mellanox MCX556A-EDAT是全新的价格还是二手的价格？您有渠道商家的联系方式，方便给我用用吗？

作者
Author: Entropy.S.I 时间: 2023-8-18 14:03

tianmafei 发表于 2023-8-18 11:34
请问老师，您提到的Mellanox MCX556A-EDAT是全新的价格还是二手的价格？您有渠道商家的联系方式，方便给 ...

3000是tb上的二手，带店保的那种。全新是5000左右。当然这是批发价。

现在全新的100G IB卡，MCX651105A-EDAT性价比也比较高，批发价不到5000。MCX556A-EDAT是双口，所以即使是更老的CX5芯片，也没比单口CX6便宜。要不要双口，就看具体需求了，楼主这种机器很少、交换机端口富裕的情况，双口就比较合适。

“联系方式”是不能在这里公开的。

欢迎光临计算化学公社 (http://bbs.keinsci.com/)