请教组建集群的硬件和并行计算相关

djjj148

租超算有几年了，感觉非常不划算，而且我自己也学习了公社里集群方面的帖子，故有意向组建集群，课题组主要使用CP2K，偶尔用到VASP，Gaussian，ORCA，咨询了一下，一些公司提供的"开机即用"全包服务相比于社长写的博文中的购机配置，价格要贵几倍，于是我们准备自己购置服务器。有两个问题想请教一下大家：
1. 假设已经按照社长的博文购买好了10台E5-2699 v3服务器，要组建成集群，采用万兆/IB网络需要加购什么硬件呢？额外的费用大概分别是多少呢？
2. 我测试了一下，对于CP2K，在每节点24核(XEON E5-2678 v3)的集群上(万兆网络)进行双节点并行计算，所达到的速度和单机56核的机器(Platinum 8173M)基本一样。而如果不考虑组建集群的成本(因为我现在还不明确建集群的额外成本)，仅按照博文里的价格算，1个56核机器(30200元)是2个24核的节点(2*6700元)的2.25倍，差距很大，估计就算考虑集群引入的额外成本，2个24核也比1个56核划算得多。不知我这样算合不合理？(仅针对CP2K、VASP这类并行效率较高的程序，暂不考虑Gaussian)

麻烦各位了~！

abin

第一
搜索abin的帖子，尤其是关于集群方面的看看。

第二
VASP多节点计算，如果用以太网，两个节点还凑合用；3个或者更多节点，会比较慢。
CP2K，可以并行到上千个核心，效率不错。但是不确定是否在IB网络下测试。

如果用万兆光纤，做多机器并行计算也很烂。
特别留意，100Mbps， 1000Mbps， 10000Mbps的差别是，单位时间内可以跑的数据包多了；
但是VASP这种，数据量不大，而是需要快速的信息交换。
类似于，不是要求做到一秒内写10MB， 而是一秒内，完成100次4KB数据读写。不过，规划好MPI_BLOCK，可有效降低网络压力，提升计算效率，仅对IB网络或者OPA网络有效。
以太网，延时是微秒级别；IB网络，是纳秒级别。
如果涉及到很多数据信息交换，那么IB的优势是显而易见的。


如果规模不是很大，比如2台机器做并行， 可以购买IB网卡，咸鱼二手大概3000元一对，含模块线缆。
两台以上， 需要交换机，IB的交换机比较贵，是好几万元，不是几千元。
由于没有12端口的IB交换机，
现在能买到的，听朋友讲， 基本是36端口的。
10台左右的机器，IB一套成本价格是7万人民币左右，应该是全新品。

也可以用便宜一点的intel的OPA方案， 比IB便宜。
10台机器用到的设备，大概也在3万人民币左右。

我自己的测试是，
VASP544+intelMPI+10Gb网络， 双机并行效率，大约是理论值的80%。
更多节点没有测试。

硬件规划方面，
如果机器规模有10台，
建议，一个处理器低规格做管控节点，
配置系统盘1个， 软件盘1个，均是独立硬盘。
数据硬盘一个或者多个机械做RAID扩充容量。

如果CP2K也写硬盘厉害或者需要较大空间读写，
可以配合高规格NVME做RAID0配合IB网络。普通NVME硬盘，会拖慢IB网络。
假设采用最低规格的56Gb IB网络，实际读写可以高达7GB/s。
普通NVME固态，也就3～4GB/s，无法适配IB网络的高速读写。

其他干活机器，也就是计算节点，
如果基本涉及到多机器并行计算， 采用的是IB网络的话，
单机是需要一个小容量的硬盘做系统，
不需要其他任何硬盘。

完结。

我做过好几套计算化学、计算材料方向适用的计算集群。
自己用的是， E5-2686v4 + 10Gb 网络。

修正了错别字。

djjj148

abin 发表于 2021-4-13 19:21
第一
搜索abin的帖子，尤其是关于集群方面的看看。

谢谢王老师，我根据这些去搜素学习一下。

djjj148

abin 发表于 2021-4-13 19:21
第一
搜索abin的帖子，尤其是关于集群方面的看看。

看来做集群的话，要么千兆网配合队列系统只做调度，堆单节点的算力(应该比较适合Gaussian用户)；要么上IB，选每个核的单价最低的机器组集群做并行计算(CP2K,VASP用户)。万兆网络夹在中间有点不实用了。
从成本出发的话，按照社长博文的价格，10台E5-2699 v3，10万，加上IB网络的7万成本。大概17万能组个360核的高速集群。
这17万能买5台Platinum 8173M(一台3万)+千兆网络，但是此时整个集群只有280核，而且跨节点并行计算能力几乎为0。
单从以上描述来看，只要不用Gaussian或者对Gaussian这种不能跨节点并行的软件(linda版小众，就不考虑了)没有那么高的使用要求，360核的方案完胜280核的。
不知我怎么比较是否合理？另外还想请教下：
1. IB是只要购买了硬件且配置完成后就能一直使用，还是说IB网络有一部分服务是需要租赁的呢(类似办理宽带每月需要向运营商支付网费)？
2. OPA我还是第一次听到，查了一些资料好像速度和IB是基本一样的？可是价格却便宜一半，有什么潜在的缺点吗？


谢谢王老师。

abin

djjj148 发表于 2021-4-14 22:00
看来做集群的话，要么千兆网配合队列系统只做调度，堆单节点的算力(应该比较适合Gaussian用户)；要么上IB ...

IB主要是交换机贵。 之前的讯息是，IB交换机需要授权才可以使用。
淘宝上能找到价格的。

现在被NVIDIA收购了， 具体价格不清楚。
似乎不面向普通消费市场，所以看不到报价和授权费用事宜。
问问卖硬件的老板吧。

OPA是intel的方案， 2020年9月， intel把该业务转给另一个家公司了。
北大生命一号集群，名字可能不太对， 用的是OPA的方案。
实际价格，应该被IB便宜。

不过去咸鱼淘旧货，你会发现OPA的价格高，
IB的便宜，因为有很多5年前的拆机货，当然也可以用的。

不能只看核心数。
CP2K，VASP，根据intel的数据，
开启AVX512指令集，加速轻轻松松1.75倍。
不过也有弊端， 开启AVX512指令支持，核心频率下降，
对于代码不是100%AVX512指令集优化的程序，可能得不偿失。

从另一方面看， 开源大佬Linus本人十分鄙视AVX512指令集，
他认为，对于计算，AVX2就够用了。
老旧的E5v3/v4，都是支持AVX2指令集的。

如果计算规模不是很大，
也许可以拆分为双机并行模式，就可以不用购买IB交换机了。
这样，只能组合为72核心的并行规模。
或者你可以看看咸鱼上二手的IB交换机什么价格？

从你的描述来看，追求性价比，应该是第一位的。

另，对于VASP，采用以太网做多机器并行， 效率十分差劲，就不要折腾了。万兆也没啥用。
毕竟网络延时在哪里摆着呢。

IB延时是微秒，以太网，是毫秒级的。

另，自己编译VASP CP2K，
两者都是可以借助intel全套，实现对于AVX512指令集的支持。
你可以在单机测试一下：
比如支持到AVX2， AVX512， 计算速度的差异。
仅仅支持到AVX2， 也许可以全核心高主频工作；
支持到AVX512， 也许，只能低频率工作。
可以参考我之前视频， 8173M， 全核心跑VASP的算例。 那个是开启了AVX512，降频很明显的。

如果你不是自己做集群，
或许要预留部分经费，用来组建集群。

我一个朋友，当年捡了一堆v2机器，
找一个公司做集群，开价3万，可不是小数目。

祝好。

如有涉及到不便于公开讨论的，可以电邮联系 hpc4you@163.com.

xiaofeng_hpc

推荐一套配置：
1. 双路AMD 7662，单台128核，价格7~8万一台。AMD的性能实测不比Intel二代铂金低，至于高多少，没有详细测试。
2. 56G 12口IB交换机，1万多一点一台。56G网卡约2k一张。
3. 如果采用两台计算节点，可以省去交换机。
现在跟楼主自选的方案比较，就看同核数下AMD二代与Intel E5的性能差距了。我就测试过一次E5的，个人认为性能比EPYC还是差不少的，当然跟具体算例文件也有关。仅供参考。

biogon

xiaofeng_hpc 发表于 2021-11-26 00:31
推荐一套配置：
1. 双路AMD 7662，单台128核，价格7~8万一台。AMD的性能实测不比Intel二代铂金低，至于高 ...

2000现在都能买新的CX456A了