三十万左右计算集群采购，请各位大佬推荐一下2020年配置

silencesola

导师想采购一个三十万左右的集群，本人只有个人台式机的组装经验，请各位大佬推荐一下2020年配置。主要用于vasp、cp2k、lammps的计算。

silencesola

现在有两个节点，新的机器最好能跨节点并行。

llzz0309

建议使用amd EPYC7002系列。随着ZEN3的即将发布，ZEN2架构的EPYC7002价格开始大幅下降，性价比非常高。这个系列的CPU在恰当的编译手段下，对于VASP等计算效率非常高的。

sobereva

买其中的顶级双路服务器推荐配置，能买多少台买多少台
计算化学购机配置推荐
http://sobereva.com/444

abin

我前几天分别做过，8173M集群，不垮节点并行，所以用千兆网。
8175M多机器并行，vasp，万兆光纤网络。

如果用IB网络，请预留出来几万预算做网络。

注意，要求多机器并行时候，需要配一套共用存储。
但是每台机器不必都配备高速硬盘或者大容量硬盘。

abin

补充一下，前几天帮朋友调试的机器，
8175M双路，192GB内存，裸机价格大概3万左右。

如有兴趣可以联系我。
签名有联系方式。

冰释之川

最近公司正好也在招标30万预算下的集群搭建，这是其中一家供应商的报价单，仅供参考：

abin

冰释之川 发表于 2020-9-29 20:32
最近公司正好也在招标30万预算下的集群搭建，这是其中一家供应商的报价单，仅供参考：

我实名批判这个配置，没法用！！！
跑VASP之类的，并行效率可能比预期低40%左右。
如果效率降低这么明显，还不如买便宜的E5-2686v4平台呢。

8系列处理器，内通通道搞满啊。
至少需要使用12 x 16GB 或者 12 x 32GB的内存配置哦。

VASP的并行效率 和内存通道有严重的依赖关系。
8系列处理器的高明之处在于可以有更多的内存通道。
这个配置居然两个处理器，就给4个内存条，真是蠢。
另外，如果仅仅是管理集群的网络，100Mbps都轻轻松松，万兆有毛线用？当然需更多成本而已。

不晓得这个集群要跑啥计算？
如果是高斯这种呢， 用不用万兆没啥用。
首先高斯的多节点并行，效率不好，单节点多核心并行的话，在本地读写，又用不到高速网络。
其次，如果是采用多节跑VASP，存储随机写性能有不行，
建议用几个至少是SATA接口的固态做RAID0，来提升读写。

用10TB硬盘好几个，估计是通过RAID5阵列存放数据，
如果遭遇磁盘故障，这个RAID5阵列就是个灾难，等着哭就好了。

冰释之川

abin 发表于 2020-9-30 14:23
我实名批判这个配置，没法用！！！
跑VASP之类的，并行效率可能比预期低40%左右。
如果效率降低这么明 ...

感谢专家提供的宝贵意见。我们这边暂时不跑vasp，这边主要是跑高斯，orca，xtb，之所以选万兆是因为磁盘阵列在管理节点上，其他节点全挂在磁盘阵列上需要频繁读写操作，内存这部分后来扩充到192GB/节点了。
另外专家如果有兴趣的话，可以给我司出一个配置单以正视听，这样我们可以调整配置，非常感谢。

abin

冰释之川 发表于 2020-9-30 23:05
感谢专家提供的宝贵意见。我们这边暂时不跑vasp，这边主要是跑高斯，orca，xtb，之所以选万兆是因为磁盘 ...

CPU和内存搭配自己选呗， 看预算来选。
我不做硬件，不晓得价格。

高斯，基本上是单节点内多CPU并行，推荐采用本地磁盘读写方案。
如果高斯仅仅是DFT类型计算，配置一个SATA接口的固态硬盘就可以，大概480GB容量都够了。

ORCA，相比较于高斯，耗费内存多一些，按照机器规模和用户3～5人使用，建议也是单节点内多CPU并行，
所以单机配置，只要搭配一个固态硬盘足以。

xtb没用过，不发表意见。

如果计算采用本地读写方式，
和存储打交道的时刻仅仅在于，计算发起的几秒钟，以及计算完成后，数据回传的时间段，加起来也就是几十秒而已。

如果用普通的NFS后者其他方案共享系统程序，
比如高斯，仅仅是在运行到某一个link，才需要通过网络读取程序到内存，
如果使用频繁，会被NFS等缓存下来，基本上涉及不到频繁读取存储。

集群上的存储，大部分时间，仅仅是用来存放数据而已。

要不你先看看这里提到的附件文档？
http://bbs.keinsci.com/thread-19636-1-1.html

你可以选择好CPU和内存，
然后告诉我，一共几台机器，
大概多少人使用？
是否需要多节点并行计算？
一个作业需要2个节点，或者所有节点？
你的项目中，平均一个计算，耗时多久？

如果是多人同时使用，你认为，用户排队多久，不会被激怒？

我可以根据以上信息，协助你规划集群部署方案。

祝好。

冰释之川

abin 发表于 2020-9-30 23:38
CPU和内存搭配自己选呗， 看预算来选。
我不做硬件，不晓得价格。

我们这边3个人使用，不涉及到跨节点计算，目前规划是一个节点投放两个任务(26核/个)。

我们之前还有一个两节点的小集群，其中节点2通过千兆交换机挂载到节点1上(12T硬盘上)，我用高斯任务在这两个节点上跑过，耗时相差不大；不过当我用ORCA跑单点任务的时候，我发现节点2的耗时是节点1的好几倍，后来我测试了两个节点访问12T硬盘的I/O速度，发现节点2限制在100MB/s，推测是I/O增加了计算耗时所致，所以现在的新集群我打算用万兆交换机替换了。
至于选择磁盘阵列挂在在管理节点，我是希望在计算过程中能够直接在管理节点上看到计算进度(查看中间结果文件)，这样不需要凭借PBS任务号再ssh到某个计算节点下查看中间结果了

abin

冰释之川 发表于 2020-10-1 00:30
我们这边3个人使用，不涉及到跨节点计算，目前规划是一个节点投放两个任务(26核/个)。

我们之前还有一 ...

你所讲的场景，更换为10Gb网络会不会好？假定采用28核心处理器。
按照你提议的方案，读写都在一个节点做，假定一共四个节点。
其中有三个机器需要通过网络来访问存储写东西。
存储机器的带宽上限是10Gb，被三个机器分享一下，每个顶多可以做到300MB/s吧，这还是理论上限哦。
如果是ORCA这种，读写频繁，机器满负载之后，会存在至少56 x 3个网络写操作。
你认为以太网，在这种情形下会很快吗？

本地磁盘读写，应该快于这种网络读写的。
就算是采用中等规格的SATA接口固态磁盘，可以写500MB/s，不过随机4K性能远好于机械盘。
每台机器配置一个STATA固态磁盘，每台机器仅仅最多负载56个写进程，读写性能远远高于通过网络操作。

你可以看看资料，本地磁盘读写平均延时，和 以太网读写操作延时。
以太网，基本都是毫秒级别吧？顺路提一下，IB网，协议和以太网不同，IB可以和CPU内存直通。

即时看到计算输出，很简单的操作啊！
不想“凭借PBS号ssh到节点查看”，那就把这个事情写一个脚本来操作呗，
比如myps一下， 看到如下类似结果呢？注意myps这种垃圾玩意，是我自己写的。

[tom@node1 ~]$ myps
=======================
There are 4 active jobs!
=======================
====================================
Here are the active job directories:
====================================
ID         Dir                                  node
23463         /home/tom/CdS/surface/101-2          hard
23465         /home/tom/CdS/surface/101-3          node2
23468         /home/tom/CdS/surface/101-4          node3
23475         /home/tom/rosary/periodic-2          node4
========================
No jobs in Q state !!!!
========================
....All Done!
[tom@node1 ~]$

以下两个配置，可以参考理解一下。其中第一个图片中描述的机器依旧在稳定运行，
负载约30名用户，机器一直满负荷运行。计算和读写均在单节点完成，计算完毕后，数据回传至/home。
那些认为调度管理节点一定要高配置的道德模范艺术家，可以闭嘴了。


关于此配置更多的讨论，请查阅，

私有计算集群的搭建和课题组计算资源管

https://www.cailiaoren.com/m_vinfo.php?id=172&vid=1524

如有其他疑问，请通过签名中的联系方式，联系我。

打字太烦了。

abin

顺路吐槽一下：
国家超算，有时候为何算的慢？ 即时他们配备的可能是100Gb 或者 200Gb的 IB 网络？

比如天河2号，所谓的计算节点，仅有30GB左右的磁盘做系统，读写和数据全都是通过IB网络挂载处理。
如果按照200Gb带宽计算，假定存储服务器上配备了12个200Gb的接口做负载均衡，
意味着读写带宽合计是12 x 200Gb = 2400 Gb。

假定，该系统上，有500个节点都在干活，天河2号大多数机器是24核心。
会有 500 x 24 个写操作。
然后每个机器上，实际带宽就是2400/500 = 4.8Gb。 带宽大约是千兆的5倍不到，万兆的一半而已。不过IB的延时特别低而已。

以上仅仅是最佳理论带宽，
实际情况可能较为糟糕的。

多数时候，国家超算上，计算慢，原因就在此。

国家超算的用法应该是，
比如，我有一个计算，就需要上千个CPU来处理，
这才是国家超算的用武之地。
而不是采用共享存储的方式，跑一堆单节点的多核心并行计算。

自己做的集群，跑单节点的多核心计算，肯定比国家超算快很多的。

osirisurf

sobereva 发表于 2020-9-29 11:57
买其中的顶级双路服务器推荐配置，能买多少台买多少台
计算化学购机配置推荐
http://sobereva.com/444

站长，这个顶级双路，我前几天联系了您帖子里的几个淘宝卖家，怎么都要32000+，这个28000真能买到吗？  

sobereva

osirisurf 发表于 2020-10-2 09:55
站长，这个顶级双路，我前几天联系了您帖子里的几个淘宝卖家，怎么都要32000+，这个28000真能买到吗？

本来价格就会波动，不可能总是频繁更新价格