计算化学公社

标题: 三十万左右计算集群采购，请各位大佬推荐一下2020年配置 [打印本页]

作者
Author: silencesola 时间: 2020-9-29 11:03
标题: 三十万左右计算集群采购，请各位大佬推荐一下2020年配置
导师想采购一个三十万左右的集群，本人只有个人台式机的组装经验，请各位大佬推荐一下2020年配置。主要用于vasp、cp2k、lammps的计算。

作者
Author: silencesola 时间: 2020-9-29 11:04
现在有两个节点，新的机器最好能跨节点并行。

作者
Author: llzz0309 时间: 2020-9-29 11:46
本帖最后由 llzz0309 于 2020-9-29 11:50 编辑

建议使用amd EPYC7002系列。随着ZEN3的即将发布，ZEN2架构的EPYC7002价格开始大幅下降，性价比非常高。这个系列的CPU在恰当的编译手段下，对于VASP等计算效率非常高的。

作者
Author: sobereva 时间: 2020-9-29 11:57
买其中的顶级双路服务器推荐配置，能买多少台买多少台
计算化学购机配置推荐
http://sobereva.com/444

作者
Author: abin 时间: 2020-9-29 17:21
本帖最后由 abin 于 2020-9-29 17:30 编辑

我前几天分别做过，8173M集群，不垮节点并行，所以用千兆网。
8175M多机器并行，vasp，万兆光纤网络。

如果用IB网络，请预留出来几万预算做网络。

注意，要求多机器并行时候，需要配一套共用存储。
但是每台机器不必都配备高速硬盘或者大容量硬盘。

作者
Author: abin 时间: 2020-9-29 17:38
补充一下，前几天帮朋友调试的机器，
8175M双路，192GB内存，裸机价格大概3万左右。

如有兴趣可以联系我。
签名有联系方式。

作者
Author: 冰释之川 时间: 2020-9-29 20:32
最近公司正好也在招标30万预算下的集群搭建，这是其中一家供应商的报价单，仅供参考：
(, 下载次数 Times of downloads: 67)

作者
Author: abin 时间: 2020-9-30 14:23
本帖最后由 abin 于 2020-9-30 14:30 编辑

冰释之川发表于 2020-9-29 20:32
最近公司正好也在招标30万预算下的集群搭建，这是其中一家供应商的报价单，仅供参考：

我实名批判这个配置，没法用！！！
跑VASP之类的，并行效率可能比预期低40%左右。
如果效率降低这么明显，还不如买便宜的E5-2686v4平台呢。

8系列处理器，内通通道搞满啊。
至少需要使用12 x 16GB 或者 12 x 32GB的内存配置哦。

VASP的并行效率和内存通道有严重的依赖关系。
8系列处理器的高明之处在于可以有更多的内存通道。
这个配置居然两个处理器，就给4个内存条，真是蠢。
另外，如果仅仅是管理集群的网络，100Mbps都轻轻松松，万兆有毛线用？当然需更多成本而已。

不晓得这个集群要跑啥计算？
如果是高斯这种呢，用不用万兆没啥用。
首先高斯的多节点并行，效率不好，单节点多核心并行的话，在本地读写，又用不到高速网络。
其次，如果是采用多节跑VASP，存储随机写性能有不行，
建议用几个至少是SATA接口的固态做RAID0，来提升读写。

用10TB硬盘好几个，估计是通过RAID5阵列存放数据，
如果遭遇磁盘故障，这个RAID5阵列就是个灾难，等着哭就好了。

作者
Author: 冰释之川 时间: 2020-9-30 23:05
本帖最后由冰释之川于 2020-9-30 23:09 编辑

abin 发表于 2020-9-30 14:23
我实名批判这个配置，没法用！！！
跑VASP之类的，并行效率可能比预期低40%左右。
如果效率降低这么明 ...

感谢专家提供的宝贵意见。我们这边暂时不跑vasp，这边主要是跑高斯，orca，xtb，之所以选万兆是因为磁盘阵列在管理节点上，其他节点全挂在磁盘阵列上需要频繁读写操作，内存这部分后来扩充到192GB/节点了。
另外专家如果有兴趣的话，可以给我司出一个配置单以正视听，这样我们可以调整配置，非常感谢。

作者
Author: abin 时间: 2020-9-30 23:38

冰释之川发表于 2020-9-30 23:05
感谢专家提供的宝贵意见。我们这边暂时不跑vasp，这边主要是跑高斯，orca，xtb，之所以选万兆是因为磁盘 ...

CPU和内存搭配自己选呗，看预算来选。
我不做硬件，不晓得价格。

高斯，基本上是单节点内多CPU并行，推荐采用本地磁盘读写方案。
如果高斯仅仅是DFT类型计算，配置一个SATA接口的固态硬盘就可以，大概480GB容量都够了。

ORCA，相比较于高斯，耗费内存多一些，按照机器规模和用户3～5人使用，建议也是单节点内多CPU并行，
所以单机配置，只要搭配一个固态硬盘足以。

xtb没用过，不发表意见。

如果计算采用本地读写方式，
和存储打交道的时刻仅仅在于，计算发起的几秒钟，以及计算完成后，数据回传的时间段，加起来也就是几十秒而已。

如果用普通的NFS后者其他方案共享系统程序，
比如高斯，仅仅是在运行到某一个link，才需要通过网络读取程序到内存，
如果使用频繁，会被NFS等缓存下来，基本上涉及不到频繁读取存储。

集群上的存储，大部分时间，仅仅是用来存放数据而已。

要不你先看看这里提到的附件文档？
http://bbs.keinsci.com/thread-19636-1-1.html

你可以选择好CPU和内存，
然后告诉我，一共几台机器，
大概多少人使用？
是否需要多节点并行计算？
一个作业需要2个节点，或者所有节点？
你的项目中，平均一个计算，耗时多久？

如果是多人同时使用，你认为，用户排队多久，不会被激怒？

我可以根据以上信息，协助你规划集群部署方案。

祝好。

作者
Author: 冰释之川 时间: 2020-10-1 00:30
本帖最后由冰释之川于 2020-10-1 00:33 编辑

abin 发表于 2020-9-30 23:38
CPU和内存搭配自己选呗，看预算来选。
我不做硬件，不晓得价格。

我们这边3个人使用，不涉及到跨节点计算，目前规划是一个节点投放两个任务(26核/个)。

我们之前还有一个两节点的小集群，其中节点2通过千兆交换机挂载到节点1上(12T硬盘上)，我用高斯任务在这两个节点上跑过，耗时相差不大；不过当我用ORCA跑单点任务的时候，我发现节点2的耗时是节点1的好几倍，后来我测试了两个节点访问12T硬盘的I/O速度，发现节点2限制在100MB/s，推测是I/O增加了计算耗时所致，所以现在的新集群我打算用万兆交换机替换了。
至于选择磁盘阵列挂在在管理节点，我是希望在计算过程中能够直接在管理节点上看到计算进度(查看中间结果文件)，这样不需要凭借PBS任务号再ssh到某个计算节点下查看中间结果了

作者
Author: abin 时间: 2020-10-1 08:20

冰释之川发表于 2020-10-1 00:30
我们这边3个人使用，不涉及到跨节点计算，目前规划是一个节点投放两个任务(26核/个)。

我们之前还有一 ...

你所讲的场景，更换为10Gb网络会不会好？假定采用28核心处理器。
按照你提议的方案，读写都在一个节点做，假定一共四个节点。
其中有三个机器需要通过网络来访问存储写东西。
存储机器的带宽上限是10Gb，被三个机器分享一下，每个顶多可以做到300MB/s吧，这还是理论上限哦。
如果是ORCA这种，读写频繁，机器满负载之后，会存在至少56 x 3个网络写操作。
你认为以太网，在这种情形下会很快吗？

本地磁盘读写，应该快于这种网络读写的。
就算是采用中等规格的SATA接口固态磁盘，可以写500MB/s，不过随机4K性能远好于机械盘。
每台机器配置一个STATA固态磁盘，每台机器仅仅最多负载56个写进程，读写性能远远高于通过网络操作。

你可以看看资料，本地磁盘读写平均延时，和以太网读写操作延时。
以太网，基本都是毫秒级别吧？顺路提一下，IB网，协议和以太网不同，IB可以和CPU内存直通。

即时看到计算输出，很简单的操作啊！
不想“凭借PBS号ssh到节点查看”，那就把这个事情写一个脚本来操作呗，
比如myps一下，看到如下类似结果呢？注意myps这种垃圾玩意，是我自己写的。

[tom@node1 ~]$ myps
=======================
There are 4 active jobs!
=======================
====================================
Here are the active job directories:
====================================
ID    Dir    node
23463    /home/tom/CdS/surface/101-2    hard
23465    /home/tom/CdS/surface/101-3    node2
23468    /home/tom/CdS/surface/101-4    node3
23475    /home/tom/rosary/periodic-2    node4
========================
No jobs in Q state !!!!
========================
....All Done!
[tom@node1 ~]$

以下两个配置，可以参考理解一下。其中第一个图片中描述的机器依旧在稳定运行，
负载约30名用户，机器一直满负荷运行。计算和读写均在单节点完成，计算完毕后，数据回传至/home。
那些认为调度管理节点一定要高配置的道德模范艺术家，可以闭嘴了。
(, 下载次数 Times of downloads: 65) (, 下载次数 Times of downloads: 79)

关于此配置更多的讨论，请查阅，

私有计算集群的搭建和课题组计算资源管

https://www.cailiaoren.com/m_vinfo.php?id=172&vid=1524

如有其他疑问，请通过签名中的联系方式，联系我。

打字太烦了。

作者
Author: abin 时间: 2020-10-1 08:35
顺路吐槽一下：
国家超算，有时候为何算的慢？即时他们配备的可能是100Gb 或者 200Gb的 IB 网络？

比如天河2号，所谓的计算节点，仅有30GB左右的磁盘做系统，读写和数据全都是通过IB网络挂载处理。
如果按照200Gb带宽计算，假定存储服务器上配备了12个200Gb的接口做负载均衡，
意味着读写带宽合计是12 x 200Gb = 2400 Gb。

假定，该系统上，有500个节点都在干活，天河2号大多数机器是24核心。
会有 500 x 24 个写操作。
然后每个机器上，实际带宽就是2400/500 = 4.8Gb。带宽大约是千兆的5倍不到，万兆的一半而已。不过IB的延时特别低而已。

以上仅仅是最佳理论带宽，
实际情况可能较为糟糕的。

多数时候，国家超算上，计算慢，原因就在此。

国家超算的用法应该是，
比如，我有一个计算，就需要上千个CPU来处理，
这才是国家超算的用武之地。
而不是采用共享存储的方式，跑一堆单节点的多核心并行计算。

自己做的集群，跑单节点的多核心计算，肯定比国家超算快很多的。

作者
Author: osirisurf 时间: 2020-10-2 09:55

sobereva 发表于 2020-9-29 11:57
买其中的顶级双路服务器推荐配置，能买多少台买多少台
计算化学购机配置推荐
http://sobereva.com/444

站长，这个顶级双路，我前几天联系了您帖子里的几个淘宝卖家，怎么都要32000+，这个28000真能买到吗？

作者
Author: sobereva 时间: 2020-10-2 12:24

osirisurf 发表于 2020-10-2 09:55
站长，这个顶级双路，我前几天联系了您帖子里的几个淘宝卖家，怎么都要32000+，这个28000真能买到吗？

本来价格就会波动，不可能总是频繁更新价格

作者
Author: osirisurf 时间: 2020-10-2 13:53

sobereva 发表于 2020-10-2 12:24
本来价格就会波动，不可能总是频繁更新价格

嗯，就是过了1年多，还能涨价10%+，有点夸张

作者
Author: qinzhong605 时间: 2020-10-2 16:12

osirisurf 发表于 2020-10-2 13:53
嗯，就是过了1年多，还能涨价10%+，有点夸张

去淘宝上面搜散件，买回自己安装，要便宜很多，那几家还是有点贵的。

作者
Author: sobereva 时间: 2020-10-4 15:11

osirisurf 发表于 2020-10-2 13:53
嗯，就是过了1年多，还能涨价10%+，有点夸张

涨价绝对不是新鲜事
和货源、时下局势都有很大关系

作者
Author: 啦啦黑还黑 时间: 2020-10-4 16:04

osirisurf 发表于 2020-10-2 09:55
站长，这个顶级双路，我前几天联系了您帖子里的几个淘宝卖家，怎么都要32000+，这个28000真能买到吗？

去淘宝问的时候不要直接复制社长444帖子里的配置，嘉兴涛哥都早都知道这个配置哪里来的了，这个配置复制过去，至少加价3k宰一笔

作者
Author: qinzhong605 时间: 2020-10-4 17:35

啦啦黑还黑发表于 2020-10-4 16:04
去淘宝问的时候不要直接复制社长444帖子里的配置，嘉兴涛哥都早都知道这个配置哪里来的了，这个配置复制 ...

所谓无奸不商，哈哈，所以买散件自己搞要便宜一大截。

作者
Author: abin 时间: 2020-10-8 20:30
三十万的预算，
提议散件组装的，可以歇歇了。

看描述，三十万的预算，应该是项目款。
这些钱，还是委托第三方公司组装处理。

必定是要通过招标采购处理的。

如果是所谓的科研经费，直接自己采购组装，你已经走上了犯罪的道路了。

作者
Author: xiaomidaxue 时间: 2020-10-21 09:08

osirisurf 发表于 2020-10-2 09:55
站长，这个顶级双路，我前几天联系了您帖子里的几个淘宝卖家，怎么都要32000+，这个28000真能买到吗？

自己买配件，都不要28000

作者
Author: xiaomidaxue 时间: 2020-10-21 09:10

abin 发表于 2020-10-1 08:20
你所讲的场景，更换为10Gb网络会不会好？假定采用28核心处理器。
按照你提议的方案，读写都在一个节点做 ...

大佬是行家啊，能不能给个wx或者QQ联系方式。
谢谢！

作者
Author: abin 时间: 2020-10-21 10:12

xiaomidaxue 发表于 2020-10-21 09:10
大佬是行家啊，能不能给个wx或者QQ联系方式。
谢谢！

签名信息有联系方式。

作者
Author: wyf4725801 时间: 2020-11-4 16:59

osirisurf 发表于 2020-10-2 09:55
站长，这个顶级双路，我前几天联系了您帖子里的几个淘宝卖家，怎么都要32000+，这个28000真能买到吗？

不知道你为何不找我，可能是因为我刚注册

作者
Author: wyf4725801 时间: 2020-11-6 14:20

sobereva 发表于 2020-10-4 15:11
涨价绝对不是新鲜事
和货源、时下局势都有很大关系

这边解释一下为何大佬给的28000的价格目前你确要32000拿货，因为IFPS的火热，导致硬件全部涨价，所以，时隔1年，某些硬件不但没降价，反而涨价，夸张的是某个硬件还涨了30%都不止

作者
Author: silencesola 时间: 2020-11-9 19:05

llzz0309 发表于 2020-9-29 11:46
建议使用amd EPYC7002系列。随着ZEN3的即将发布，ZEN2架构的EPYC7002价格开始大幅下降，性价比非常高。这个 ...

请问amd7742现在一套双路加24*16g的计算节点配置大概是多少？

作者
Author: 喵星大佬 时间: 2020-11-9 20:25

silencesola 发表于 2020-11-9 19:05
请问amd7742现在一套双路加24*16g的计算节点配置大概是多少？

7742的板子上一般是16/32个内存槽，一个核是8通道的

作者
Author: silencesola 时间: 2020-11-10 14:13

喵星大佬发表于 2020-11-9 20:25
7742的板子上一般是16/32个内存槽，一个核是8通道的

谢谢大佬指导，如果配满16g内存大概多少

作者
Author: 喵星大佬 时间: 2020-11-10 14:18

silencesola 发表于 2020-11-10 14:13
谢谢大佬指导，如果配满16g内存大概多少

配满就是512G啊，价格的话大概接近8万吧

不过这跟牙膏81系4路或者92系双路的差不多，价格也差不多(92系双路应该再贵不少)，反正就胶水呗

作者
Author: silencesola 时间: 2020-11-10 16:06
本帖最后由 silencesola 于 2020-11-10 16:07 编辑

喵星大佬发表于 2020-11-10 14:18
配满就是512G啊，价格的话大概接近8万吧

不过这跟牙膏81系4路或者92系双路的差不多，价格也差不多(92 ...

谢谢。还有网上CPU多核跑分7702大于7742，还比7742便宜。如果配7702跑vasp,cp2k,okmc会不会划算一些？如果计算尽量跑满节点的话。

作者
Author: frontleg 时间: 2020-12-29 07:55

silencesola 发表于 2020-11-10 16:06
谢谢。还有网上CPU多核跑分7702大于7742，还比7742便宜。如果配7702跑vasp,cp2k,okmc会不会划算一些？如 ...

vasp 吃内存带宽，8通道双路epyc 共128核平均到每个核内存带宽过小，VASP实际效果不如 6通道4路共96核的8163
我们测试任务的效率供参考：
双路 EPYC-7V12 64核*2 379秒
双路 EPYC-7V12 64核*2 只用64核心 456秒
四路铂金8163 24核*4 333秒
双路铂金8173M 28核*2 503秒

欢迎光临计算化学公社 (http://bbs.keinsci.com/)