服务器配置单求教

duanxxuan · 发表于 Post on 2022-10-17 20:31:05

请问各位大佬：

我们老师想要建服务器集群，我们的预算大概是150万，想要购买100台服务器。目前最常计算的任务是100-200原子的VASP计算
以及寻找过渡态。

看sobereva老师的配置文章，有以下几个问题，还请大佬帮忙解答：
1.是否必须配置网卡，多台计算机并行计算时，各个服务器之间的信息交流速度是否会影响计算
2.通过多台服务器并行，调用上百个核，是否能缩短寻找过渡态的时间，实现一两天完成计算

感谢各位大佬帮忙解答

sobereva · 发表于 Post on 2022-10-17 23:47:05

搞不懂干嘛非要买100台服务器
一个双路7R32顶三台多双路2696v3服务器，一台三万左右，还不如买50台双路7R32（或其它的性价比高的，诸如7B13、8373C、8350C等等）
跨节点通讯效率远远远远低于节点内CPU间的通讯效率，而且本身并行核数越多并行效率也越低，跑一两百原子的任务靠这么大规模的跨节点并行效率极其拉胯。

Entropy.S.I · 发表于 Post on 2022-10-18 08:17:38

这种想法，非常幼稚。100台垃圾，还要考虑规模化的制冷，电费，场地费，运维费之类，和数据中心没什么区别，光这些就分分钟吃空你预算。

建议考虑只买1台GPU服务器，安装8块英伟达H100 SXM（直接找英伟达咨询DGX H100），也是一两百万，跑VASP不一定比你想搞的100台垃圾慢。

孤忆梦影 · 发表于 Post on 2022-10-18 10:57:08

本帖最后由孤忆梦影于 2022-10-18 11:02 编辑

100台费钱又作死虽然服务器之间的信息交流速度硬盘速度和局域网跟的上就行每台多出去的主板，硬盘，电源机箱之类的毫无意义 100台集群就算跑起来维护是很麻烦的机房还要考虑散热之类需要很多核cpu计算就直接上好的cpu 金牌至强一个好点的处理器就是28核一台上两个u就是56核一台顶你多少台别搞那些花里胡哨的需要GPU直接上高的显卡就完事了

Billhenry · 发表于 Post on 2022-10-18 11:10:49

有钱任性

abin · 发表于 Post on 2022-10-18 12:22:51

本帖最后由 abin 于 2022-10-18 12:28 编辑

看看这个 https://hpc4you.github.io

其实, 如果预算是150万的话, 你看配置都没有用的.
拆开单机购买, 是违法犯罪行为, 楼上的各种组装方案, 看看就行.

能买到什么机器呢?
去戴尔网站, 自己选选处理器内存, 会得到一个价格.
这个价格乘以0.7, 就是你去找曙光浪潮等商家的计算节点的报价.
保守估计, 双路64核心+256GB内存, 需要6万.

如果做成集群, 采用100GB IB网络, 交换机估计5万起.

150万, 其中20%是存储和网络,
剩下的80%, 是机器.
按照6万计算, 大概是20台.

所以, 结论是, 曙光浪潮这种商家, 会给100GB IB网络 + GPFS存储 + 20台左右机器组成的集群.
适合多节点并行.

至于并行效率, 看具体情形了. VASP+IB, 有测试表明, 8个节点, 效率可以做到80%左右.
(注意, 1个机器算10个小时, 10个机器计算需要1小时, 称为效率100%.)

如果没有IB网络, 仅限单节点多核心并行.
BI网络成本, 能替换为2~3台机器.

或者, 使用VASP GPU方案.
就是楼上说的NVIDIA的DGX主机.

一定要留意, 预算超过10万, 而且还是纵向科研经费, 还琢磨性价比组装的, 基本要违法乱纪了.

highlight · 发表于 Post on 2022-10-18 12:26:55

配置 150w 规模的集群采购，估计都不会优先考虑配置性价比的
申请机房场地、招标采购流程、内部供货商、学校统一规划。。。先把这些关过了再说
在此之外，你也不可能按单机 * 30 or 100 来规划价格，购置机架空调、布线、存储管理配置、IB 网络。。。都得或多或少的额外花钱
最后，这个集群还得有个人来管，考虑到你的提问方式，你或你的导师大概率都不太了解集群管理
少年，你这是已经有跳坑的觉悟了吗

abin · 发表于 Post on 2022-10-18 12:33:31

接着楼上说的集群托管费/运维费用.

高性能计算集群, 比较冷门.
专业的IT运维, 没人愿意接这个活的.

如果不需要到现场的话, 兼职运维能搞定的.

或者硬件稳定的话, 其实不需要运维的.
我做的集群系统, 除了添加用户之外, 不需要运维的.

sss668800 · 发表于 Post on 2022-10-21 16:40:57

这配置是站长给普通预算紧张用户采购的塔式工作站，用的是垃圾佬的大船货，上面已经有坛友说了，你150万采购这些洋垃圾，有人来查就要出事情。

首先，你要确定你所用的程序是纯cpu还是支持gpu加速，这个截图是没有GPU的。

hgyhgy · 发表于 Post on 2022-10-22 10:41:03

你这个钱多，如果想要速度快，显然是购买gpu卡的会比较快呀。
要速度快，就要单台的性能好。vasp的并行效率不太好。

如果不是想速度快，而是研究组的使用人数很多，那么多几台机器，也是可以保证每人任何时候都能用上机器的。

duanxxuan · 发表于 Post on 2022-10-25 11:20:18

sobereva 发表于 2022-10-17 23:47
搞不懂干嘛非要买100台服务器
一个双路7R32顶三台多双路2696v3服务器，一台三万左右，还不如买50台双路7R3 ...

请问买7R32的话，100个原子以下的体系，找过渡态大概需要多久，就是在找到合适结构的情况呀，几台7R32并行可以提升速度吗

duanxxuan · 发表于 Post on 2022-10-25 11:24:12

abin 发表于 2022-10-18 12:22
看看这个 https://hpc4you.github.io

其实, 如果预算是150万的话, 你看配置都没有用的.

请问楼主，这个IB网络，如果使用40G或56G对效率影响大吗？还有是否可以把集群的集中存储改为各自节点存储是否能提高计算速度？谢谢您了

Entropy.S.I · 发表于 Post on 2022-10-25 13:22:47

本帖最后由 Entropy.S.I 于 2022-10-25 13:27 编辑

duanxxuan 发表于 2022-10-25 11:20
请问买7R32的话，100个原子以下的体系，找过渡态大概需要多久，就是在找到合适结构的情况呀，几台7R32并 ...

如果日常没有几十上百人使用，不推荐建CPU集群。找英伟达咨询DGX或HGX就行了，一台DGX H100能顶你一整套CPU集群，不过目前比较缺货，价格偏高，150万估计不够买8卡机器，4卡的HGX H100肯定足够。即使是用老的DGX A100，也很划算。如果觉得上百万就买了1台机器领导看完会不高兴，那就用性能较弱、较便宜的A100 PCIe 40G，可以买2-3台8卡机器。150万这种不上不下的预算量，跑的还是VASP这种有GPU模式的程序，搞CPU集群非常不合适。

abin · 发表于 Post on 2022-10-25 22:29:44

duanxxuan 发表于 2022-10-25 11:24
请问楼主，这个IB网络，如果使用40G或56G对效率影响大吗？还有是否可以把集群的集中存储改为各自节点存储 ...

vasp 不支持你说的存储方式。

不过你说的是一种并行存储的实现方式。
配置很麻烦的，还需要硬件支持。

你说的卡，工作在以太网模式，就是40
工作在IB模式，就是56Gbps

hgyhgy · 发表于 Post on 2022-10-26 09:40:21

duanxxuan 发表于 2022-10-25 11:20
请问买7R32的话，100个原子以下的体系，找过渡态大概需要多久，就是在找到合适结构的情况呀，几台7R32并 ...

你这种规模大，还是去超算中心测试一下，找找同学什么的。

根据过去的经验来说，vasp是不太适合单个节点有太多cpu的机器，会比较浪费机器的能力。

但现在技术进步了，vasp也进步了，过去的经验是否依然成立是有疑问的。

若无具体测试，我是倾向于更多节点，每个节点至多64 cpu或32 cpu。

GPU的会更快，能达到的最快速度更快。但同时更贵。同样金钱，可能能算的计算量会少些，但速度会快些。

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[配置讨论] 服务器配置单求教