计算化学公社

 找回密码 Forget password
 注册 Register
Views: 1015|回复 Reply: 18

[配置讨论] 服务器配置单求教

[复制链接 Copy URL]

4

帖子

0

威望

23

eV
积分
27

Level 2 能力者

发表于 Post on 2022-10-17 20:31:05 | 显示全部楼层 Show all |阅读模式 Reading model
请问各位大佬:

我们老师想要建服务器集群,我们的预算大概是150万,想要购买100台服务器。目前最常计算的任务是100-200原子的VASP计算
以及寻找过渡态。

看sobereva老师的配置文章,有以下几个问题,还请大佬帮忙解答:
1.是否必须配置网卡,多台计算机并行计算时,各个服务器之间的信息交流速度是否会影响计算
2.通过多台服务器并行,调用上百个核,是否能缩短寻找过渡态的时间,实现一两天完成计算
202210172027179066..jpg

感谢各位大佬帮忙解答

4万

帖子

99

威望

4万

eV
积分
89873

管理员

公社社长+计算化学玩家

发表于 Post on 2022-10-17 23:47:05 | 显示全部楼层 Show all
搞不懂干嘛非要买100台服务器
一个双路7R32顶三台多双路2696v3服务器,一台三万左右,还不如买50台双路7R32(或其它的性价比高的,诸如7B13、8373C、8350C等等)
跨节点通讯效率远远远远低于节点内CPU间的通讯效率,而且本身并行核数越多并行效率也越低,跑一两百原子的任务靠这么大规模的跨节点并行效率极其拉胯。
北京科音自然科学研究中心http://www.keinsci.com)致力于计算化学的发展和传播,长期开办最高质量的各种计算化学类培训:初级量子化学培训班基础(中级)量子化学培训班分子动力学与GROMACS培训班量子化学波函数分析与Multiwfn程序培训班,内容介绍以及往届资料购买请点击链接查看。这些培训是计算化学从零快速入门以及进一步全面系统性提升研究水平的最佳途径。培训各种常见问题见《北京科音办的培训班FAQ》
欢迎加入“北京科音”微信公众号获取培训最新消息、避免错过网上最有价值的计算化学文章!
欢迎加入人气最高、水准最高的综合性理论与计算化学交流QQ群“思想家公社QQ群”:1号:18616395,2号:466017436,3号:764390338,搜索群号能搜到哪个说明目前哪个能加,合计9000人,讨论范畴相同
思想家公社的门口Blog:http://sobereva.com(发布大量原创计算化学相关博文)
Multiwfn主页:http://sobereva.com/multiwfn(最强大的量子化学波函数分析程序)
ResearchGate:https://www.researchgate.net/profile/Tian_Lu
Money and papers are rubbish, get a real life!

310

帖子

4

威望

2024

eV
积分
2414

Level 5 (御坂)

小屁孩

发表于 Post on 2022-10-18 08:17:38 | 显示全部楼层 Show all
这种想法,非常幼稚。100台垃圾,还要考虑规模化的制冷,电费,场地费,运维费之类,和数据中心没什么区别,光这些就分分钟吃空你预算。

建议考虑只买1台GPU服务器,安装8块英伟达H100 SXM(直接找英伟达咨询DGX H100),也是一两百万,跑VASP不一定比你想搞的100台垃圾慢。
- 向着虚无前进 -

16

帖子

0

威望

186

eV
积分
202

Level 3 能力者

发表于 Post on 2022-10-18 10:57:08 | 显示全部楼层 Show all
本帖最后由 孤忆梦影 于 2022-10-18 11:02 编辑

100台费钱又作死  虽然服务器之间的信息交流速度硬盘速度和局域网跟的上就行  每台多出去的主板,硬盘,电源机箱之类的毫无意义  100台集群就算跑起来维护是很麻烦的 机房还要考虑散热之类   需要很多核cpu计算就直接上好的cpu 金牌至强一个好点的处理器就是28核 一台上两个u就是56核 一台顶你多少台 别搞那些花里胡哨的  需要GPU直接上高的显卡就完事了  

4

帖子

0

威望

99

eV
积分
103

Level 2 能力者

发表于 Post on 2022-10-18 11:10:49 | 显示全部楼层 Show all
有钱任性

1851

帖子

1

威望

4096

eV
积分
5967

Level 6 (一方通行)

发表于 Post on 2022-10-18 12:22:51 | 显示全部楼层 Show all
本帖最后由 abin 于 2022-10-18 12:28 编辑

看看这个 https://hpc4you.github.io

其实, 如果预算是150万的话, 你看配置都没有用的.
拆开单机购买, 是违法犯罪行为, 楼上的各种组装方案, 看看就行.

能买到什么机器呢?
去戴尔网站, 自己选选处理器内存, 会得到一个价格.
这个价格乘以0.7, 就是你去找曙光浪潮等商家的计算节点的报价.
保守估计, 双路64核心+256GB内存, 需要6万.

如果做成集群, 采用100GB IB网络, 交换机估计5万起.

150万, 其中20%是存储和网络,
剩下的80%, 是机器.
按照6万计算, 大概是20台.

所以, 结论是, 曙光浪潮这种商家, 会给100GB IB网络 + GPFS存储 + 20台左右机器组成的集群.
适合多节点并行.

至于并行效率, 看具体情形了. VASP+IB, 有测试表明, 8个节点, 效率可以做到80%左右.
(注意, 1个机器算10个小时, 10个机器计算需要1小时, 称为效率100%.)

如果没有IB网络, 仅限单节点多核心并行.
BI网络成本, 能替换为2~3台机器.

或者, 使用VASP GPU方案.
就是楼上说的NVIDIA的DGX主机.

一定要留意, 预算超过10万, 而且还是纵向科研经费, 还琢磨性价比组装的, 基本要违法乱纪了.

High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
App,  https://gitee.com/hpc4you/linux
hpc4you toolkit,  https://gitee.com/hpc4you/hpc
电邮hpc4you@163.com VX: hpc4you

169

帖子

1

威望

3331

eV
积分
3520

Level 5 (御坂)

发表于 Post on 2022-10-18 12:26:55 | 显示全部楼层 Show all
配置 150w 规模的集群采购,估计都不会优先考虑配置性价比的
申请机房场地、招标采购流程、内部供货商、学校统一规划。。。先把这些关过了再说
在此之外,你也不可能按单机 * 30 or 100 来规划价格,购置机架空调、布线、存储管理配置、IB 网络。。。都得或多或少的额外花钱
最后,这个集群还得有个人来管,考虑到你的提问方式,你或你的导师大概率都不太了解集群管理
少年,你这是已经有跳坑的觉悟了吗

1851

帖子

1

威望

4096

eV
积分
5967

Level 6 (一方通行)

发表于 Post on 2022-10-18 12:33:31 | 显示全部楼层 Show all
接着楼上说的集群托管费/运维费用.

高性能计算集群, 比较冷门.
专业的IT运维, 没人愿意接这个活的.

如果不需要到现场的话, 兼职运维能搞定的.

或者硬件稳定的话,  其实不需要运维的.
我做的集群系统, 除了添加用户之外, 不需要运维的.
High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
App,  https://gitee.com/hpc4you/linux
hpc4you toolkit,  https://gitee.com/hpc4you/hpc
电邮hpc4you@163.com VX: hpc4you

18

帖子

0

威望

147

eV
积分
165

Level 3 能力者

发表于 Post on 2022-10-21 16:40:57 | 显示全部楼层 Show all
这配置是站长给普通预算紧张用户采购的塔式工作站,用的是垃圾佬的大船货,上面已经有坛友说了,你150万采购这些洋垃圾,有人来查就要出事情。

首先,你要确定你所用的程序是纯cpu还是支持gpu加速,这个截图是没有GPU的。

81

帖子

1

威望

216

eV
积分
317

Level 3 能力者

发表于 Post on 2022-10-22 10:41:03 | 显示全部楼层 Show all
你这个钱多,如果想要速度快,显然是购买gpu卡的会比较快呀。
要速度快,就要单台的性能好。vasp的并行效率不太好。

如果不是想速度快,而是研究组的使用人数很多,那么多几台机器,也是可以保证每人任何时候都能用上机器的。

4

帖子

0

威望

23

eV
积分
27

Level 2 能力者

 楼主 Author| 发表于 Post on 2022-10-25 11:20:18 | 显示全部楼层 Show all
sobereva 发表于 2022-10-17 23:47
搞不懂干嘛非要买100台服务器
一个双路7R32顶三台多双路2696v3服务器,一台三万左右,还不如买50台双路7R3 ...

请问买7R32的话,100个原子以下的体系,找过渡态大概需要多久,就是在找到合适结构的情况呀,几台7R32并行可以提升速度吗

4

帖子

0

威望

23

eV
积分
27

Level 2 能力者

 楼主 Author| 发表于 Post on 2022-10-25 11:24:12 | 显示全部楼层 Show all
abin 发表于 2022-10-18 12:22
看看这个 https://hpc4you.github.io

其实, 如果预算是150万的话, 你看配置都没有用的.

请问楼主,这个IB网络,如果使用40G或56G对效率影响大吗?还有是否可以把集群的集中存储改为各自节点存储是否能提高计算速度?谢谢您了

310

帖子

4

威望

2024

eV
积分
2414

Level 5 (御坂)

小屁孩

发表于 Post on 2022-10-25 13:22:47 | 显示全部楼层 Show all
本帖最后由 Entropy.S.I 于 2022-10-25 13:27 编辑
duanxxuan 发表于 2022-10-25 11:20
请问买7R32的话,100个原子以下的体系,找过渡态大概需要多久,就是在找到合适结构的情况呀,几台7R32并 ...

如果日常没有几十上百人使用,不推荐建CPU集群。找英伟达咨询DGX或HGX就行了,一台DGX H100能顶你一整套CPU集群,不过目前比较缺货,价格偏高,150万估计不够买8卡机器,4卡的HGX H100肯定足够。即使是用老的DGX A100,也很划算。如果觉得上百万就买了1台机器领导看完会不高兴,那就用性能较弱、较便宜的A100 PCIe 40G,可以买2-3台8卡机器。150万这种不上不下的预算量,跑的还是VASP这种有GPU模式的程序,搞CPU集群非常不合适。
- 向着虚无前进 -

1851

帖子

1

威望

4096

eV
积分
5967

Level 6 (一方通行)

发表于 Post on 2022-10-25 22:29:44 | 显示全部楼层 Show all
duanxxuan 发表于 2022-10-25 11:24
请问楼主,这个IB网络,如果使用40G或56G对效率影响大吗?还有是否可以把集群的集中存储改为各自节点存储 ...

vasp 不支持你说的存储方式。

不过你说的是一种并行存储的实现方式。
配置很麻烦的,还需要硬件支持。

你说的卡,工作在以太网模式,就是40
工作在IB模式,就是56Gbps
High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
App,  https://gitee.com/hpc4you/linux
hpc4you toolkit,  https://gitee.com/hpc4you/hpc
电邮hpc4you@163.com VX: hpc4you

81

帖子

1

威望

216

eV
积分
317

Level 3 能力者

发表于 Post on 2022-10-26 09:40:21 | 显示全部楼层 Show all
duanxxuan 发表于 2022-10-25 11:20
请问买7R32的话,100个原子以下的体系,找过渡态大概需要多久,就是在找到合适结构的情况呀,几台7R32并 ...

你这种规模大,还是去超算中心测试一下,找找同学什么的。

根据过去的经验来说,vasp是不太适合单个节点有太多cpu的机器,会比较浪费机器的能力。

但现在技术进步了,vasp也进步了,过去的经验是否依然成立是有疑问的。

若无具体测试,我是倾向于更多节点,每个节点至多64 cpu或32 cpu。

GPU的会更快,能达到的最快速度更快。但同时更贵。同样金钱,可能能算的计算量会少些,但速度会快些。

本版积分规则 Credits rule

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2023-2-2 09:16 , Processed in 1.033739 second(s), 25 queries .

快速回复 返回顶部 返回列表 Return to list