请选择 进入手机版 | 继续访问电脑版
第八届分子动力学与GROMACS培训班将于2021年1月18~21日于北京举办,报名将于12月10日开始。培训预告请点击此链接查看,欲学习分子动力学模拟与GROMACS程序者切勿错过!

计算化学公社

 找回密码
 现在注册!
查看: 2586|回复: 30

[计算机购买] 三十万左右计算集群采购,请各位大佬推荐一下2020年配置

[复制链接]

5

帖子

0

威望

49

eV
积分
54

Level 2 能力者

发表于 2020-9-29 11:03:19 | 显示全部楼层 |阅读模式
导师想采购一个三十万左右的集群,本人只有个人台式机的组装经验,请各位大佬推荐一下2020年配置。主要用于vasp、cp2k、lammps的计算。

5

帖子

0

威望

49

eV
积分
54

Level 2 能力者

 楼主| 发表于 2020-9-29 11:04:37 | 显示全部楼层
现在有两个节点,新的机器最好能跨节点并行。

15

帖子

0

威望

71

eV
积分
86

Level 2 能力者

发表于 2020-9-29 11:46:38 | 显示全部楼层
本帖最后由 llzz0309 于 2020-9-29 11:50 编辑

建议使用amd EPYC7002系列。随着ZEN3的即将发布,ZEN2架构的EPYC7002价格开始大幅下降,性价比非常高。这个系列的CPU在恰当的编译手段下,对于VASP等计算效率非常高的。

2万

帖子

25

威望

3万

eV
积分
61079

管理员

公社社长+计算化学玩家

发表于 2020-9-29 11:57:50 | 显示全部楼层
买其中的顶级双路服务器推荐配置,能买多少台买多少台
计算化学购机配置推荐
http://sobereva.com/444
北京科音自然科学研究中心http://www.keinsci.com  致力于计算化学的发展和传播,长期开办最高水准的各种量子化学、分子动力学、波函数分析与Multiwfn程序等主题的培训,是提升计算化学研究水平的最佳选择。欢迎加入“北京科音”公众号获取培训最新消息和计算化学资讯!培训相关信息见《北京科音办的培训班FAQ》(http://bbs.keinsci.com/thread-5098-1-1.html)。
欢迎加入人气最高、水准最高的综合性理论与计算化学交流QQ群:思想家公社QQ群1号:18616395,2号:466017436。合计6000人。两个群讨论范畴相同,可加入任意其一但不可都加入,申请信息必须注明具体研究方向,否则一定会被拒绝加入。
思想家公社的门口Blog:http://sobereva.com(发布大量原创计算化学相关博文)
Multiwfn主页:http://sobereva.com/multiwfn(最强大的量子化学波函数分析程序)
ResearchGate:https://www.researchgate.net/profile/Tian_Lu
Money and papers are rubbish, get a real life!

539

帖子

1

威望

1916

eV
积分
2475

Level 5 (御坂)

发表于 2020-9-29 17:21:19 | 显示全部楼层
本帖最后由 abin 于 2020-9-29 17:30 编辑

我前几天分别做过,8173M集群,不垮节点并行,所以用千兆网。
8175M多机器并行,vasp,万兆光纤网络。

如果用IB网络,请预留出来几万预算做网络。

注意,要求多机器并行时候,需要配一套共用存储。
但是每台机器不必都配备高速硬盘或者大容量硬盘。


提供面向计算化学的平台搭建和使用相关的咨询和支持,
wechat / bilibili  abbottcn
Configure, build, and customize the Linux cluster for your computational project.

539

帖子

1

威望

1916

eV
积分
2475

Level 5 (御坂)

发表于 2020-9-29 17:38:31 | 显示全部楼层
补充一下,前几天帮朋友调试的机器,
8175M双路,192GB内存,裸机价格大概3万左右。

如有兴趣可以联系我。
签名有联系方式。
提供面向计算化学的平台搭建和使用相关的咨询和支持,
wechat / bilibili  abbottcn
Configure, build, and customize the Linux cluster for your computational project.

793

帖子

7

威望

3647

eV
积分
4580

Level 6 (一方通行)

计算化学社畜

发表于 2020-9-29 20:32:47 | 显示全部楼层
最近公司正好也在招标30万预算下的集群搭建,这是其中一家供应商的报价单,仅供参考:
QQ截图20200929203158.png

Stand on the shoulders of giants

539

帖子

1

威望

1916

eV
积分
2475

Level 5 (御坂)

发表于 2020-9-30 14:23:14 | 显示全部楼层
本帖最后由 abin 于 2020-9-30 14:30 编辑
冰释之川 发表于 2020-9-29 20:32
最近公司正好也在招标30万预算下的集群搭建,这是其中一家供应商的报价单,仅供参考:

我实名批判这个配置,没法用!!!
跑VASP之类的,并行效率可能比预期低40%左右。
如果效率降低这么明显,还不如买便宜的E5-2686v4平台呢。

8系列处理器,内通通道搞满啊。
至少需要使用12 x 16GB 或者 12 x 32GB的内存配置哦。

VASP的并行效率 和内存通道有严重的依赖关系。
8系列处理器的高明之处在于可以有更多的内存通道。
这个配置居然两个处理器,就给4个内存条,真是蠢。
另外,如果仅仅是管理集群的网络,100Mbps都轻轻松松,万兆有毛线用?当然需更多成本而已。

不晓得这个集群要跑啥计算?
如果是高斯这种呢, 用不用万兆没啥用。
首先高斯的多节点并行,效率不好,单节点多核心并行的话,在本地读写,又用不到高速网络。
其次,如果是采用多节跑VASP,存储随机写性能有不行,
建议用几个至少是SATA接口的固态做RAID0,来提升读写。

用10TB硬盘好几个,估计是通过RAID5阵列存放数据,
如果遭遇磁盘故障,这个RAID5阵列就是个灾难,等着哭就好了。

提供面向计算化学的平台搭建和使用相关的咨询和支持,
wechat / bilibili  abbottcn
Configure, build, and customize the Linux cluster for your computational project.

793

帖子

7

威望

3647

eV
积分
4580

Level 6 (一方通行)

计算化学社畜

发表于 2020-9-30 23:05:26 | 显示全部楼层
本帖最后由 冰释之川 于 2020-9-30 23:09 编辑
abin 发表于 2020-9-30 14:23
我实名批判这个配置,没法用!!!
跑VASP之类的,并行效率可能比预期低40%左右。
如果效率降低这么明 ...

感谢专家提供的宝贵意见。我们这边暂时不跑vasp,这边主要是跑高斯,orca,xtb,之所以选万兆是因为磁盘阵列在管理节点上,其他节点全挂在磁盘阵列上需要频繁读写操作,内存这部分后来扩充到192GB/节点了。
另外专家如果有兴趣的话,可以给我司出一个配置单以正视听,这样我们可以调整配置,非常感谢。
Stand on the shoulders of giants

539

帖子

1

威望

1916

eV
积分
2475

Level 5 (御坂)

发表于 2020-9-30 23:38:43 | 显示全部楼层
冰释之川 发表于 2020-9-30 23:05
感谢专家提供的宝贵意见。我们这边暂时不跑vasp,这边主要是跑高斯,orca,xtb,之所以选万兆是因为磁盘 ...

CPU和内存搭配自己选呗, 看预算来选。
我不做硬件,不晓得价格。

高斯,基本上是单节点内多CPU并行,推荐采用本地磁盘读写方案。
如果高斯仅仅是DFT类型计算,配置一个SATA接口的固态硬盘就可以,大概480GB容量都够了。

ORCA,相比较于高斯,耗费内存多一些,按照机器规模和用户3~5人使用,建议也是单节点内多CPU并行,
所以单机配置,只要搭配一个固态硬盘足以。

xtb没用过,不发表意见。

如果计算采用本地读写方式,
和存储打交道的时刻仅仅在于,计算发起的几秒钟,以及计算完成后,数据回传的时间段,加起来也就是几十秒而已。

如果用普通的NFS后者其他方案共享系统程序,
比如高斯,仅仅是在运行到某一个link,才需要通过网络读取程序到内存,
如果使用频繁,会被NFS等缓存下来,基本上涉及不到频繁读取存储。

集群上的存储,大部分时间,仅仅是用来存放数据而已。

要不你先看看这里提到的附件文档?
http://bbs.keinsci.com/thread-19636-1-1.html

你可以选择好CPU和内存,
然后告诉我,一共几台机器,
大概多少人使用?
是否需要多节点并行计算?
一个作业需要2个节点,或者所有节点?
你的项目中,平均一个计算,耗时多久?

如果是多人同时使用,你认为,用户排队多久,不会被激怒?

我可以根据以上信息,协助你规划集群部署方案。

祝好。
提供面向计算化学的平台搭建和使用相关的咨询和支持,
wechat / bilibili  abbottcn
Configure, build, and customize the Linux cluster for your computational project.

793

帖子

7

威望

3647

eV
积分
4580

Level 6 (一方通行)

计算化学社畜

发表于 2020-10-1 00:30:18 | 显示全部楼层
本帖最后由 冰释之川 于 2020-10-1 00:33 编辑
abin 发表于 2020-9-30 23:38
CPU和内存搭配自己选呗, 看预算来选。
我不做硬件,不晓得价格。

我们这边3个人使用,不涉及到跨节点计算,目前规划是一个节点投放两个任务(26核/个)。

我们之前还有一个两节点的小集群,其中节点2通过千兆交换机挂载到节点1上(12T硬盘上),我用高斯任务在这两个节点上跑过,耗时相差不大;不过当我用ORCA跑单点任务的时候,我发现节点2的耗时是节点1的好几倍,后来我测试了两个节点访问12T硬盘的I/O速度,发现节点2限制在100MB/s,推测是I/O增加了计算耗时所致,所以现在的新集群我打算用万兆交换机替换了。
至于选择磁盘阵列挂在在管理节点,我是希望在计算过程中能够直接在管理节点上看到计算进度(查看中间结果文件),这样不需要凭借PBS任务号再ssh到某个计算节点下查看中间结果了
Stand on the shoulders of giants

539

帖子

1

威望

1916

eV
积分
2475

Level 5 (御坂)

发表于 2020-10-1 08:20:49 | 显示全部楼层
冰释之川 发表于 2020-10-1 00:30
我们这边3个人使用,不涉及到跨节点计算,目前规划是一个节点投放两个任务(26核/个)。

我们之前还有一 ...

你所讲的场景,更换为10Gb网络会不会好?假定采用28核心处理器。
按照你提议的方案,读写都在一个节点做,假定一共四个节点。
其中有三个机器需要通过网络来访问存储写东西。
存储机器的带宽上限是10Gb,被三个机器分享一下,每个顶多可以做到300MB/s吧,这还是理论上限哦。
如果是ORCA这种,读写频繁,机器满负载之后,会存在至少56 x 3个网络写操作。
你认为以太网,在这种情形下会很快吗?

本地磁盘读写,应该快于这种网络读写的。
就算是采用中等规格的SATA接口固态磁盘,可以写500MB/s,不过随机4K性能远好于机械盘。
每台机器配置一个STATA固态磁盘,每台机器仅仅最多负载56个写进程,读写性能远远高于通过网络操作。

你可以看看资料,本地磁盘读写平均延时,和 以太网读写操作延时。
以太网,基本都是毫秒级别吧?顺路提一下,IB网,协议和以太网不同,IB可以和CPU内存直通。

即时看到计算输出,很简单的操作啊!
不想“凭借PBS号ssh到节点查看”,那就把这个事情写一个脚本来操作呗,
比如myps一下, 看到如下类似结果呢?注意myps这种垃圾玩意,是我自己写的。

[tom@node1 ~]$ myps
=======================
There are 4 active jobs!
=======================
====================================
Here are the active job directories:
====================================
ID         Dir                                  node
23463         /home/tom/CdS/surface/101-2          hard
23465         /home/tom/CdS/surface/101-3          node2
23468         /home/tom/CdS/surface/101-4          node3
23475         /home/tom/rosary/periodic-2          node4
========================
No jobs in Q state !!!!
========================
....All Done!
[tom@node1 ~]$

以下两个配置,可以参考理解一下。其中第一个图片中描述的机器依旧在稳定运行,
负载约30名用户,机器一直满负荷运行。计算和读写均在单节点完成,计算完毕后,数据回传至/home。
那些认为调度管理节点一定要高配置的道德模范艺术家,可以闭嘴了。
材料人会议-page20.png 材料人会议-page21.png

关于此配置更多的讨论,请查阅,
私有计算集群的搭建和课题组计算资源管


如有其他疑问,请通过签名中的联系方式,联系我。
打字太烦了。


提供面向计算化学的平台搭建和使用相关的咨询和支持,
wechat / bilibili  abbottcn
Configure, build, and customize the Linux cluster for your computational project.

539

帖子

1

威望

1916

eV
积分
2475

Level 5 (御坂)

发表于 2020-10-1 08:35:12 | 显示全部楼层
顺路吐槽一下:
国家超算,有时候为何算的慢? 即时他们配备的可能是100Gb 或者 200Gb的 IB 网络?

比如天河2号,所谓的计算节点,仅有30GB左右的磁盘做系统,读写和数据全都是通过IB网络挂载处理。
如果按照200Gb带宽计算,假定存储服务器上配备了12个200Gb的接口做负载均衡,
意味着读写带宽合计是12 x 200Gb = 2400 Gb。

假定,该系统上,有500个节点都在干活,天河2号大多数机器是24核心。
会有 500 x 24 个写操作。
然后每个机器上,实际带宽就是2400/500 = 4.8Gb。 带宽大约是千兆的5倍不到,万兆的一半而已。不过IB的延时特别低而已。

以上仅仅是最佳理论带宽,
实际情况可能较为糟糕的。

多数时候,国家超算上,计算慢,原因就在此。

国家超算的用法应该是,
比如,我有一个计算,就需要上千个CPU来处理,
这才是国家超算的用武之地。
而不是采用共享存储的方式,跑一堆单节点的多核心并行计算。

自己做的集群,跑单节点的多核心计算,肯定比国家超算快很多的。
提供面向计算化学的平台搭建和使用相关的咨询和支持,
wechat / bilibili  abbottcn
Configure, build, and customize the Linux cluster for your computational project.

12

帖子

0

威望

695

eV
积分
707

Level 4 (黑子)

发表于 2020-10-2 09:55:47 | 显示全部楼层
sobereva 发表于 2020-9-29 11:57
买其中的顶级双路服务器推荐配置,能买多少台买多少台
计算化学购机配置推荐
http://sobereva.com/444

站长,这个顶级双路,我前几天联系了您帖子里的几个淘宝卖家,怎么都要32000+,这个28000真能买到吗?  

2万

帖子

25

威望

3万

eV
积分
61079

管理员

公社社长+计算化学玩家

发表于 2020-10-2 12:24:50 | 显示全部楼层
osirisurf 发表于 2020-10-2 09:55
站长,这个顶级双路,我前几天联系了您帖子里的几个淘宝卖家,怎么都要32000+,这个28000真能买到吗?

本来价格就会波动,不可能总是频繁更新价格
北京科音自然科学研究中心http://www.keinsci.com  致力于计算化学的发展和传播,长期开办最高水准的各种量子化学、分子动力学、波函数分析与Multiwfn程序等主题的培训,是提升计算化学研究水平的最佳选择。欢迎加入“北京科音”公众号获取培训最新消息和计算化学资讯!培训相关信息见《北京科音办的培训班FAQ》(http://bbs.keinsci.com/thread-5098-1-1.html)。
欢迎加入人气最高、水准最高的综合性理论与计算化学交流QQ群:思想家公社QQ群1号:18616395,2号:466017436。合计6000人。两个群讨论范畴相同,可加入任意其一但不可都加入,申请信息必须注明具体研究方向,否则一定会被拒绝加入。
思想家公社的门口Blog:http://sobereva.com(发布大量原创计算化学相关博文)
Multiwfn主页:http://sobereva.com/multiwfn(最强大的量子化学波函数分析程序)
ResearchGate:https://www.researchgate.net/profile/Tian_Lu
Money and papers are rubbish, get a real life!
您需要登录后才可以回帖 登录 | 现在注册!

本版积分规则

手机版|北京科音自然科学研究中心|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949-1号 )

GMT+8, 2020-12-5 08:02 , Processed in 0.171131 second(s), 27 queries .

快速回复 返回顶部 返回列表