超算集群配置求指点

Weldingspock · 发表于 Post on 2023-7-10 18:29:38

各位老师好，最近实验室在采购超算集群，现在有两个供货商给了配置，如图所示，大家觉得哪个更好一些？（AMD芯片的这一家不知道为啥要插24条内存……这个芯片只支持八通道）主要用途，第一性原理计算（VASP,CP2K），分子动力学(lammps)，之后也想再买些显卡插在节点上做机器学习相关。配置一计算节点，管理节点交换机配置如下：

配置二计算节点和管理节点，交换机如下：

求指点，二选一

Entropy.S.I · 发表于 Post on 2023-7-10 22:25:14

预算也不说，单价也不说，数量也不说，网友住在你脑子里吗？

并且给的都是些瞎配的配置，一眼外行。精力有限，懒得吐槽了。

尊重、祝福。

Weldingspock · 发表于 Post on 2023-7-11 09:40:36

Entropy.S.I 发表于 2023-7-10 22:25
预算也不说，单价也不说，数量也不说，网友住在你脑子里吗？

并且给的都是些瞎配的配置，一眼外行。精力 ...

老师好哈，预算是200w。配置一计算节点单价85000，管理节点单价49000。配置二计算节点90580，管理节点65500.此外还有电线电缆的费用，交换机，安装费等等。之前没说是因为现在在境外，这个采购我们完全没法自主决定。只能拟大概的需求（不允许写具体的型号）然后等厂商提供报价单。现在回来的只有这两个供应商，老板让我们二选一（我也很无奈）。希望老师能指点一下，真的非常感谢。之前拟这个需求的时候就已经头疼坏了

Weldingspock · 发表于 Post on 2023-7-11 09:41:53

Entropy.S.I 发表于 2023-7-10 22:25
预算也不说，单价也不说，数量也不说，网友住在你脑子里吗？

并且给的都是些瞎配的配置，一眼外行。精力 ...

两个配置算下来，总体差了两万。虽然这个配置很多不合理的地方，但是想问一下哪个多少更合理一些。

小白一窍不通，还天天被老师逼着拟需求

Weldingspock · 发表于 Post on 2023-7-11 09:53:06

Entropy.S.I 发表于 2023-7-10 22:25
预算也不说，单价也不说，数量也不说，网友住在你脑子里吗？

并且给的都是些瞎配的配置，一眼外行。精力 ...

计算节点是16个，打算组的是16*64=1024核

abin · 发表于 Post on 2023-7-11 10:04:37

或者你看看我推荐的集群硬件架构?

https://hpc4you.github.io

或者中文资料在这里:
https://gitee.com/hpc4you/hpc

当然也可以提供开箱即用的集群.

VASP/CP2K + 200Gbps IB网络,
看样子是要跑多节点并行计算了?
那么磁盘I/O配置是有问题的.

报一下预算, 使用场景, 预计采购的机器总数量.
这样才可以合理规划你的集群配置.

比如, 如果机器规模在50台以上, 那么你可能需要单独的I/O机器, 并使用专业的并行文件系统做I/O.
等等, 有好多层面的.

abin · 发表于 Post on 2023-7-11 10:07:01

另, 有做计算的朋友说,
这个处理器, Intel(R) Xeon(R) Platinum 8336C CPU @ 2.30GHz
用来跑CP2K和VASP很棒的, 恰好我刚刚给他们调试了集群.

16个计算节点, 其实使用100Gbps IB就可以了.

系统选择有一定要求吧, 否则你的IB设备和VASP不能很好一起高效工作的.

Weldingspock · 发表于 Post on 2023-7-11 10:29:35

abin 发表于 2023-7-11 10:04
或者你看看我推荐的集群硬件架构?

https://hpc4you.github.io

这个磁盘的i/O配置问题具体是什么呢

abin · 发表于 Post on 2023-7-11 10:38:00

Weldingspock 发表于 2023-7-11 10:29
这个磁盘的i/O配置问题具体是什么呢

磁盘I/O,
就是依赖存储设备的写入操作和读取操作呀.

普通设备, 顺序读写都不错的.

但是如果是并行计算, 比如64个MPI-Rank, 可能出现64个写盘操作, 这个时候, 就不是顺序读写了,
是并发读写, 如果磁盘I/O性能不足, 会严重拖慢计算速度的.

当然了, VASP不怎么写硬盘的.

既然使用100Gbps IB了,
而且规模不是很大的话, 采用阵列卡, 把8个NVMe固态搞起来, 做磁盘I/O就可以了.
用来应付任何可能写硬盘或者需要磁盘读写的应用程序.

可以撤掉每台机器上的固态硬盘.
每台机器只用一个SATA接口固态硬盘, 120GB 或者240GB做系统就可以了.

Weldingspock · 发表于 Post on 2023-7-11 10:44:01

abin 发表于 2023-7-11 10:38
磁盘I/O,
就是依赖存储设备的写入操作和读取操作呀.

非常感谢你的回答

Entropy.S.I · 发表于 Post on 2023-7-11 13:57:43

本帖最后由 Entropy.S.I 于 2023-8-2 08:15 编辑

默认你买在境内，价格是CNY。商用整机方案，完全没必要用这些老掉牙的平台，EPYC Genoa去年底就大规模出货了，性价比远高于你给的这几个配置。计算节点2*96核双路EPYC 9654配24*64GB RAM，单节点只需~15万CNY，单节点性能是你所列出配置的3倍以上。

此外，Lammps应当使用GPU加速，但完全不推荐A100和H100系列，即使跑双精度，性价比也不如4090。

至于渠道，上面说的配置和价格，你能想到的采购渠道全部都支持，包含建设。如果你愿意，今天之内就能给你拉来一帮OEM厂家立马给你报价单。

Entropy.S.I · 发表于 Post on 2023-8-2 08:14:09

本帖最后由 Entropy.S.I 于 2023-8-2 19:38 编辑

刚好最近在设计一套规模较大的HPC，想起这个帖子，回来看了眼，又被雷到了。

200万，如果没有液冷之类的特殊要求，可以组建10台双路9654 + 1.5TB（1920核心+15TB），200G IB网络，150TB全NVMe存储兼登录节点，20kVA UPS。这性能起码是你给出这几个配置的2倍以上了，并且能在1个机柜里解决问题，密度远高于你贴的那些玩意，还能省下几万光缆钱（机柜内可用几百一条的DAC铜缆，机柜间只能用AOC光缆或光模块+光纤，一条大几千元）。

Weldingspock · 发表于 Post on 2023-8-2 11:31:04

Entropy.S.I 发表于 2023-8-2 08:14
刚好最近在设计一套规模较大的HPC，想起这个帖子，回来看了眼，又被雷到了。

200万，如果没有液冷之类的 ...

确实太离谱，我们应该会把两个供货商都换了，香港这边太奸了。不知道你这边有没有做香港学校的业务？我们最近可能会重新投标

Entropy.S.I · 发表于 Post on 2023-8-7 01:34:35

Weldingspock 发表于 2023-8-2 11:31
确实太离谱，我们应该会把两个供货商都换了，香港这边太奸了。不知道你这边有没有做香港学校的业务？我们 ...

你确定要的话当然可以，配置我都写在前面的回复里了。说不定还能进一步砍价/加量

beowulf · 发表于 Post on 2023-8-7 15:51:03

Weldingspock 发表于 2023-7-11 09:40
老师好哈，预算是200w。配置一计算节点单价85000，管理节点单价49000。配置二计算节点90580，管理节点655 ...

200万人刀还是港刀？

你这个用途没必要9654+1.5T内存+大量存储

适当压低单节点性能
争取压榨供应商陪32节点。

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[配置讨论] 超算集群配置求指点