集群AMD EPYC 7H12和Intel Xeon Scalable Gold 6330 选那个

心有秦天

课题组准备购买服务器建一个集群，主要用来跑vasp和lammps，预算100万以内。服务器厂家给了两套方案，希望大家给点建议，不知道Intel Xeon Scalable Gold 6330 和AMD EPYC 7H12那个比较好，谢谢啦！！！

   方案一：

管理节点（1套，机架式）：2颗AMD EPYC 7282 正式版CPU, Infinity架构，16 Core，32 Thread，2.8 GHz, Turbo 3.2 GHz，64 MB三级缓存；128GB DDR4 RECC Shared Memory，速度快、安全性高、稳定性好，适用于中高端服务器及图形工作站；1TB M.2 NVMe固态硬盘作系统加速盘；6块8TB 7200RPM SATA 企业级硬盘组建RAID5存储数据；FDR 56Gbps InfiniBand                                    

计算节点（8套，机架式）：2颗AMD EPYC 7H12 正式版CPU, Infinity架构，单颗64 Core，128 Thread，2.6 GHz, Turbo 3.3 GHz，256 MB三级缓存；256GB DDR4 RECC Shared Memory，速度快、安全性高、稳定性好，适用于中高端服务器及图形工作站；1TB M.2 NVMe固态硬盘作系统加速盘；

方案二：

1. 管理节点  (1台)
CPU：2颗Intel Xeon Scalable Silver 4314 正式版CPU，Ice Lake架构，单颗16 Core，32 Thread，2.4 GHz，Turbo 3.4 GHz，24 MB L3 Intel Smart Cache
内存：128GB DDR4 RECC Shared Memory，速度快、安全性高、稳定性好，适用于中高端服务器及图形工作站
硬盘：2TB M.2 NVMe固态硬盘作系统加速盘
其他：通讯端口基于PCI-E总线，满足并行计算低延迟的要求。
2. 存储节点 （1台）
CPU：2颗Intel Xeon Scalable Silver 4314 正式版CPU，Ice Lake架构，单颗16 Core，32 Thread，2.4 GHz，Turbo 3.4 GHz，24 MB L3 Intel Smart Cache
内存：128GB DDR4 RECC Shared Memory，速度快、安全性高、稳定性好，适用于中高端服务器及图形工作站
硬盘：2TB M.2 NVMe固态硬盘作系统加速盘；21块8TB 7200RPM SATA 企业级硬盘组建RAID5存储数据（其中18块8TB 7200RPM SATA 企业级硬盘组建RAID5，3块8TB 7200RPM SATA 企业级硬盘作热备盘）
RAID卡：支持RAID 0、1、5、10、50等，1GB高速缓存，理论接口传输速率最高可达12Gb/s
网络：FDR 56Gbps InfiniBand，QSFP+接口
其他：通讯端口基于PCI-E总线，满足并行计算低延迟的要求。支持多种扩展接口，方便后续升级。
3.计算节点 （9台）
CPU：2颗Intel Xeon Scalable Gold 6330 正式版CPU ，Ice Lake架构，单颗28 Core，56 Thread，2.0 GHz, Turbo 3.1 GHz，42 MB L3 Intel Smart Cache
内存：256GB DDR4 RECC Shared Memory，速度快、安全性高、稳定性好，适用于中高端服务器及图形工作站
硬盘：2TB M.2 NVMe固态硬盘作系统加速盘
网络：FDR 56Gbps InfiniBand，QSFP+接口
其他：通讯端口基于PCI-E总线，满足并行计算低延迟的要求。支持多种扩展接口，方便后续升级。

abin

先说，你要不要多节点并行？

我同事，近期采购的8369B双路➕512GB内存，
设计为单节点多核心并行。
系统240GB+2TB NVMe固态。

千兆网络。

管理存储为8156双路➕64GB内存，
240G系统，
1TB固态放软件，
三个16TB机械裸盘，做数据以及备份。

因为主要用VASP，硬盘容量肯定够用的。

以上，一个管理和四个计算节点，开箱即用集群，
大概20万。


不过你的预算100万，应该是招标。

很多高性价比的机器，未必能买到。

如果采购规则限定供货商资质的话，
你能买到的东西，没有任何性价比可言。



另外，处理器选啥都行。或者，听用户的。

比如我的采购场景，
多数同事不置可否，
但是有两位同事表示，必须Intel处理器。
补充一下.
现在使用56Gbps IB, 不是说规格问题.
而是这玩意这么多年了, 能是新品吗?

sobereva

发帖时候不要用巨大字号，别人看着很难受

心有秦天

sobereva 发表于 2022-12-2 02:55
发帖时候不要用巨大字号，别人看着很难受

谢谢您的提示，已经修改字体大小！

RFBI

这种采购。。。，昨天看了本校的竞价网成交的服务器单子，性能差到爆，价格贵上天

心有秦天

abin 发表于 2022-12-1 18:18
先说，你要不要多节点并行？

我同事，近期采购的8369B双路➕512GB内存，

非常感谢您的建议！！！偶尔需要多节点并行计算，不常用！

刘恪立

管理集群1设备整体费用加起来，设备费用也就值60万内吧，剩下的40万元基本上都是招标的费用，是自采还是招标？管理集群2基本上也是这个费用吧。。

abin

心有秦天 发表于 2022-12-2 10:30
非常感谢您的建议！！！偶尔需要多节点并行计算，不常用！

所以问题在于:
如果就算偶尔使用, 也许硬件条件具备.
一旦有多节点并行计算的需求, 那么从一开始, 就需要准备好硬件的.

如果有IB网络, 就是是56Gbps的, VASP还好了, 基本不需要硬盘I/O.
如果有疯狂读写的程序,
那么还需要考虑磁盘I/O性能.

56Gbps IB峰值读写性能可达7GB/s.
你的存储, 就算做不到7GB/s, 至少随机I/O也不能太差呀.

否则, 可能网络很卡, 一旦出现好几个需要磁盘I/O的程序, 机器就会特别慢的.

至于RAID5, 什么高达12Gb, 你算算是多少? 6Gb 大概稳定在600MB/s, 12Gb能稳定在1GB/s就不错了.

各个高校都有自主备案采购. 不用招标的.
不过似乎有限额的.

beowulf

7h12千年的方案了吧，太老了。
侧重vasp选第二个。然后让厂商再给你三个计算节点。
lammps不知道偏向哪个处理器，无建议。

biogon

abin 发表于 2022-12-1 18:18
先说，你要不要多节点并行？

我同事，近期采购的8369B双路➕512GB内存，

56g的设备早在16年左右就停产，现在都开始卖400g了

abin

biogon 发表于 2022-12-3 18:08
56g的设备早在16年左右就停产，现在都开始卖400g了

哈哈哈……
你评估一下，楼主预算100万，
他会拿出来20万左右投资网络吗？

别说400G了，就是早几年的100G的，
一个交换机，起步八万。
一个卡➕线缆，保守估计6500元。

如果十台机器，网络就是8+6.5，接近15万了。

用这么好的网络，
得配合不错的并行文件系统吧？
存储加上Meta data server，怎么着，
仅并行文件系统，
就需要两三台机器呢……
说了这么多，还都是裸体硬件……

还需要把这一堆东西弄成能用的计算服务器呢……

好用的的网络，很贵的……
不晓得追求多节点并行的伙伴，
有没有钱升级网络和存储……

另，现在用56G，基本是翻新或者拆机货……
反正追求性价比吗，能凑合用就行……
是否稳定，问菩萨吧……

biogon

abin 发表于 2022-12-3 20:58
哈哈哈……
你评估一下，楼主预算100万，
他会拿出来20万左右投资网络吗？

100g现在拆机卡都几百块了，交换机也没全新的了，库存两三万吧

abin

biogon 发表于 2022-12-4 16:47
100g现在拆机卡都几百块了，交换机也没全新的了，库存两三万吧

你问问楼主，
拆机旧货他们要不要吧……

真正用这些东西的人都晓得，
如果硬件稳定，
新的旧的没什么区别的。

只是在招标现场，
评标专家问，100G的卡，多少钱，
如果说，用几百元的拆机货，
肯定是无法中标的。

自己拼装攒机，和招标采购是不同的事情了……

攒机，是最高性价比，旧货都行，
只要对得起价格，能用就行。

招标，要的是稳定可靠，
性价比，一般不考虑。
以上，仅仅代表我的个人言论。

反正又不是自己掏钱，机器稳定可靠才是第一位。

期望，看这个帖文的网友，
没买到称心如意的机器。

biogon

abin 发表于 2022-12-4 16:59
你问问楼主，
拆机旧货他们要不要吧……

都要了56g的那些古董玩意，除了拆机二手还能有啥，只是不知道罢了，甚至CPU还有内存都有可能是拆机来的，这些东西招标的时候当然是不可能明说的了，甚至还有招标的把56g的东西当新品卖的