要购买2-300万的服务器，纠结AMD还是Intel

sobereva

node101 发表于 2024-7-25 16:30
9754 9654 9554这三款哪个比较好一些呢？谢谢！

看实际报价
9654很主流，用的人很多，性价比不错

FH-HPC

VASP、MS等，主要依赖CPU作计算，并且对内存通道要求比较高，所以一般推荐使用英特尔至强系列或者AMD EPYC系列，尤其AMD EPYC性价比更高
而且目前AMD的9004系列CPU，内存通道是12通道，对计算速度提升还是很有帮助的，而且单台可以做到256核心了，据很多老师反馈，AMD做第一性原理计算的时候单核表现不输给Intel单核表现的

AMD EPYC 9754 128C 2.25GHz 256MB 360W
AMD EPYC 9654 96C 2.4GHz 384MB 360W
AMD EPYC 9554 64C 3.1GHz 256MB 360W

9754的话，计算可能核数达不到那么多的，配置了可能没用，9554核数偏少了，9654挺合适的，关键就是三级缓存大，对计算有帮助的

AMD EPYC 9684X 96C 2.55GHz 1152MB 400W  这款不错，值得考虑，三级缓存超大

而且做2、300万基本做计算集群了，如果涉及到跨节点计算的话，一定要上IB交换机，否则不如单台快
我们给全国很多高校建过量化计算的集群，对软硬件都比较精通

如果有不同意见，欢迎随时展开讨论

abin

FH-HPC 发表于 2024-7-26 10:43
VASP、MS等，主要依赖CPU作计算，并且对内存通道要求比较高，所以一般推荐使用英特尔至强系列或者AMD EPYC ...

按照300万预算，
采用9654双路，
搭配什么规格的存储最佳？

可以区分使用200G或者400G IB卡。


保守估计，存储以及多节点I/O性能达标，
网络和存储的成本，可能达到预算的1/5或者更高。

gog

值得等待。zen5要出来了。zen4会让价。

node101

FH-HPC 发表于 2024-7-26 10:43
VASP、MS等，主要依赖CPU作计算，并且对内存通道要求比较高，所以一般推荐使用英特尔至强系列或者AMD EPYC ...

感谢详尽的建议！

node101

sobereva 发表于 2024-7-25 21:50
看实际报价
9654很主流，用的人很多，性价比不错

感谢建议，有厂商给我报价，同样的价格，9554做到23个节点2994核，9654做到22个节点4224核，9754做到20个节点5120核。这种的话哪个更好呢？谢谢！

node101

gog 发表于 2024-7-27 22:04
值得等待。zen5要出来了。zen4会让价。

我也看到相关消息了，但你也知道有些钱没法等，可能8，9月就要招标，等不到那个时候

gog

node101 发表于 2024-7-28 17:42
感谢建议，有厂商给我报价，同样的价格，9554做到23个节点2994核，9654做到22个节点4224核，9754做到20个 ...

IB网络是个瓶颈

node101

gog 发表于 2024-7-28 21:58
IB网络是个瓶颈

200G的应该还差不多吧

Entropy.S.I

node101 发表于 2024-7-28 17:42
感谢建议，有厂商给我报价，同样的价格，9554做到23个节点2994核，9654做到22个节点4224核，9754做到20个 ...

仔细看http://bbs.keinsci.com/thread-40077-1-1.html，就知道9754明显不如9654。从实测结果来说，256核的双路9754在大多数场景性能不如192核的双路9654；从架构来说，9754每2个8核CCX复用1条GMI3链路，128核只有8条GMI3链路，而9654是每个8核CCX独占1条GMI3链路，96核刚好用完IO Die的12条GMI3链路，因此9754的核间互联完全不如9654，另外9754的per-core理论性能也远低于9654。9754根本不是面向科学计算设计的CPU，买9754跑科学计算完全是被忽悠的。

另外，现在双路9654 + 24*32GB DDR5 4800 2R内存的计算节点报价超过10万的都不用继续问了。

至于IB网络，基于EDR的单层网络的latency水平并不比HDR差，甚至更好，因为从HDR开始单层网络的latency已经优化到头了，HDR和NDR溢价除了在与bandwidth，还在与多层网络需要的“In-network Computing”能力以及一些针对AI集群的特性，而这对于仅有单层网络的小型科学计算HPC完全没用。二手的EDR网络方案成本只有HDR的不到十分之一，哪种方案更合适非常明显。

最后，仔细调研你们的应用是否可以GPU加速，如今所有经典分子动力学程序的GPU加速性价比都远高于CPU-only，新兴的DPMD同样如此，至于第一性原理，以平面波为主的程序（如VASP、QE、PWmat等）的GPU加速效果普遍很好。

我自己课题组新建的GPU集群就在使用二手EDR方案，计算节点是我二次开发的8卡V100 SXM2服务器，每节点有4+1块IB-EDR HCA，其中4块专门用于GPU-Direct RDMA，这种计算节点每个只需要4万元，跑VASP和QE性能相当于2-5台双路EPYC 9654，并且组成集群进行跨节点并行计算的效率也很好。

我可以帮你们设计HPC，甚至可以帮助部署，但请注意不要以甲方对乙方的态度沟通。

node101

Entropy.S.I 发表于 2024-7-28 23:05
仔细看http://bbs.keinsci.com/thread-40077-1-1.html，就知道9754明显不如9654。从实测结果来说，256核 ...

非常感谢这些干货！也考虑过GPU，但现在主流的太贵，你说的那些老的GPU是二手还是新的？

Entropy.S.I

node101 发表于 2024-7-29 17:25
非常感谢这些干货！也考虑过GPU，但现在主流的太贵，你说的那些老的GPU是二手还是新的？

显然是二手的。但是即使是二手也经过了严格质检，质检标准是我拟定的，我有信心使整机故障率达到大厂全新整机的水平，甚至超越之。至少目前已经在运行的几台机器都没有出现硬件故障，其中运行最久的一台已经有5个月，其连续运行时间也超过了3个月，完全没问题。差不多时间上线的一些大厂GPU服务器整机反而三天两头故障。

FH-HPC

abin 发表于 2024-7-27 21:51
按照300万预算，
采用9654双路，
搭配什么规格的存储最佳？

9004的系列的CPU都是12通道，所以机器一定要24根内存，是24个32G还是24个64 看情况，都可以，但是一定要满通道，否则计算速度影响很大

abin

FH-HPC 发表于 2024-8-2 13:09
9004的系列的CPU都是12通道，所以机器一定要24根内存，是24个32G还是24个64 看情况，都可以，但是一定要 ...

内存通道，满配。

存储呢？
存储采用什么方案，
可以满足并发I/O的需求？
有些类型的计算，是会疯狂读写硬盘的……

各类型的计算，读写类型也不同……

满足I/O方面，有啥方案，或者建议？

Entropy.S.I

abin 发表于 2024-8-3 14:09
内存通道，满配。

存储呢？

主存储：全NVMe + Lustre集群（对于本贴规模，单机无冗余方案即可），MDT使用1块随机写性能尽可能高的SSD（如DapuStor J5310 3.2T或intel Optane P5800X 1.6T），OST使用4-8块容量/价格比尽可能高的SSD（如intel D5 P5316 15.36T）；App存储：NVMe-over-RDMA一写多读；另外加一台中心化的混闪NAS存储（推荐TrueNAS Scale方案，因为管理非常方便，且可以集成LDAP，同时还可以作为集群的网关节点）用于前2者的备份（备份频率为小时级别）以及用户home目录存储。对于ORCA、Gaussian等任务使用计算节点本地SSD（跨节点计算的情况依然只能使用Lustre集群）。我搭的集群就是上述方案。