要购买2-300万的服务器，纠结AMD还是Intel

node101

10来年没用AMD的服务器了，上研究生时候使用的第一个集群还是AMD的皓龙服务器，但后来就一直用的Intel的至强服务器
使用intel全家桶编译VASP也是非常方便。

现在好不容易有了经费要更新，纠结于AMD还是Intel了，AMD的性价比确实诱人，但因为很多年没用过AMD的处理器，看网上一方面说没问题，一方面AMD自家的一套比较麻烦，用Intel的编译器性能据说有降低，还有人说有莫名其妙的问题。搞的不知道该怎么决定。大家有什么建议。谢谢！

Huschein

包是AMD的，AMD感觉挺好

abin

Entropy.S.I 发表于 2024-8-4 21:48
主存储：全NVMe + Lustre集群（对于本贴规模，单机无冗余方案即可），MDT使用1块随机写性能尽可能高的SSD ...

外行专家，
不会用这种方案的。

外行专家，上来就是分布式集群存储系统。
各种测试数据都达标，
一跑磁盘I/O密集型计算，比普通单机+SSD慢个十来倍，
是非常常见的。

看看手边上千万的集群，浪潮捣鼓的……
只能呵呵了。一言难尽。

Entropy.S.I

abin 发表于 2024-8-3 14:09
内存通道，满配。

存储呢？

主存储：全NVMe + Lustre集群（对于本贴规模，单机无冗余方案即可），MDT使用1块随机写性能尽可能高的SSD（如DapuStor J5310 3.2T或intel Optane P5800X 1.6T），OST使用4-8块容量/价格比尽可能高的SSD（如intel D5 P5316 15.36T）；App存储：NVMe-over-RDMA一写多读；另外加一台中心化的混闪NAS存储（推荐TrueNAS Scale方案，因为管理非常方便，且可以集成LDAP，同时还可以作为集群的网关节点）用于前2者的备份（备份频率为小时级别）以及用户home目录存储。对于ORCA、Gaussian等任务使用计算节点本地SSD（跨节点计算的情况依然只能使用Lustre集群）。我搭的集群就是上述方案。

abin

FH-HPC 发表于 2024-8-2 13:09
9004的系列的CPU都是12通道，所以机器一定要24根内存，是24个32G还是24个64 看情况，都可以，但是一定要 ...

内存通道，满配。

存储呢？
存储采用什么方案，
可以满足并发I/O的需求？
有些类型的计算，是会疯狂读写硬盘的……

各类型的计算，读写类型也不同……

满足I/O方面，有啥方案，或者建议？

FH-HPC

abin 发表于 2024-7-27 21:51
按照300万预算，
采用9654双路，
搭配什么规格的存储最佳？

9004的系列的CPU都是12通道，所以机器一定要24根内存，是24个32G还是24个64 看情况，都可以，但是一定要满通道，否则计算速度影响很大

Entropy.S.I

node101 发表于 2024-7-29 17:25
非常感谢这些干货！也考虑过GPU，但现在主流的太贵，你说的那些老的GPU是二手还是新的？

显然是二手的。但是即使是二手也经过了严格质检，质检标准是我拟定的，我有信心使整机故障率达到大厂全新整机的水平，甚至超越之。至少目前已经在运行的几台机器都没有出现硬件故障，其中运行最久的一台已经有5个月，其连续运行时间也超过了3个月，完全没问题。差不多时间上线的一些大厂GPU服务器整机反而三天两头故障。

node101

Entropy.S.I 发表于 2024-7-28 23:05
仔细看http://bbs.keinsci.com/thread-40077-1-1.html，就知道9754明显不如9654。从实测结果来说，256核 ...

非常感谢这些干货！也考虑过GPU，但现在主流的太贵，你说的那些老的GPU是二手还是新的？

Entropy.S.I

node101 发表于 2024-7-28 17:42
感谢建议，有厂商给我报价，同样的价格，9554做到23个节点2994核，9654做到22个节点4224核，9754做到20个 ...

仔细看http://bbs.keinsci.com/thread-40077-1-1.html，就知道9754明显不如9654。从实测结果来说，256核的双路9754在大多数场景性能不如192核的双路9654；从架构来说，9754每2个8核CCX复用1条GMI3链路，128核只有8条GMI3链路，而9654是每个8核CCX独占1条GMI3链路，96核刚好用完IO Die的12条GMI3链路，因此9754的核间互联完全不如9654，另外9754的per-core理论性能也远低于9654。9754根本不是面向科学计算设计的CPU，买9754跑科学计算完全是被忽悠的。

另外，现在双路9654 + 24*32GB DDR5 4800 2R内存的计算节点报价超过10万的都不用继续问了。

至于IB网络，基于EDR的单层网络的latency水平并不比HDR差，甚至更好，因为从HDR开始单层网络的latency已经优化到头了，HDR和NDR溢价除了在与bandwidth，还在与多层网络需要的“In-network Computing”能力以及一些针对AI集群的特性，而这对于仅有单层网络的小型科学计算HPC完全没用。二手的EDR网络方案成本只有HDR的不到十分之一，哪种方案更合适非常明显。

最后，仔细调研你们的应用是否可以GPU加速，如今所有经典分子动力学程序的GPU加速性价比都远高于CPU-only，新兴的DPMD同样如此，至于第一性原理，以平面波为主的程序（如VASP、QE、PWmat等）的GPU加速效果普遍很好。

我自己课题组新建的GPU集群就在使用二手EDR方案，计算节点是我二次开发的8卡V100 SXM2服务器，每节点有4+1块IB-EDR HCA，其中4块专门用于GPU-Direct RDMA，这种计算节点每个只需要4万元，跑VASP和QE性能相当于2-5台双路EPYC 9654，并且组成集群进行跨节点并行计算的效率也很好。

我可以帮你们设计HPC，甚至可以帮助部署，但请注意不要以甲方对乙方的态度沟通。

node101

gog 发表于 2024-7-28 21:58
IB网络是个瓶颈

200G的应该还差不多吧

gog

node101 发表于 2024-7-28 17:42
感谢建议，有厂商给我报价，同样的价格，9554做到23个节点2994核，9654做到22个节点4224核，9754做到20个 ...

IB网络是个瓶颈

node101

gog 发表于 2024-7-27 22:04
值得等待。zen5要出来了。zen4会让价。

我也看到相关消息了，但你也知道有些钱没法等，可能8，9月就要招标，等不到那个时候

node101

sobereva 发表于 2024-7-25 21:50
看实际报价
9654很主流，用的人很多，性价比不错

感谢建议，有厂商给我报价，同样的价格，9554做到23个节点2994核，9654做到22个节点4224核，9754做到20个节点5120核。这种的话哪个更好呢？谢谢！

node101

FH-HPC 发表于 2024-7-26 10:43
VASP、MS等，主要依赖CPU作计算，并且对内存通道要求比较高，所以一般推荐使用英特尔至强系列或者AMD EPYC ...

感谢详尽的建议！

gog

值得等待。zen5要出来了。zen4会让价。