四路乃至八路的服务器用cp2k做AIMD并行效率如何？

xexlalalan · 发表于 Post on 2020-10-8 23:10:50

本人打算用cp2k做AIMD，体系较大，但无奈组里计算资源吃紧，想低价搞一个四路或者八路的二手服务器（本人热爱捡垃圾）。cpu打算用至强v3的洋垃圾（8890 v3以上），板子打算委托华强北的熟人去拣。拣之前想先来论坛里问问各位，cp2k在四路or八路单节点下并行效率高吗？

8890 v3的一些参数：18核36线程，全核睿频大概能上3GHz；扩展性S8S，QPI数为3；内存最多四通道，ddr3最高支持到1600.
cpu还是挺便宜的。主要是二手的四路/八路板子不好拣，据说不便宜

bobosiji · 发表于 Post on 2020-10-9 09:31:05

我同事用的4路服务器，白金CPU跑vasp，说速度很快，他很满意。但没问过他是否做过详细的bench mark。
注意：内存条要插满，打开CPU的所有通道

喵星大佬 · 发表于 Post on 2020-10-9 09:58:12

cp2k的计算线性很好，跨节点并行效率很高，所以没必要捡这种，直接多组几台普通的服务器用交换机连起来就好了。
四路是以前的E7才行的

biogon · 发表于 Post on 2020-10-9 10:05:43

喵星大佬发表于 2020-10-9 09:58
cp2k的计算线性很好，跨节点并行效率很高，所以没必要捡这种，直接多组几台普通的服务器用交换机连起来就好 ...

e5也有四路的，只有八路才需要e7

喵星大佬 · 发表于 Post on 2020-10-9 10:09:52

biogon 发表于 2020-10-9 10:05
e5也有四路的，只有八路才需要e7

这些板子都不好弄，讲道理对于cp2k最靠谱的方法就是多弄几台双路机器，这种跨节点并行万兆网络足以

biogon · 发表于 Post on 2020-10-9 10:18:30

喵星大佬发表于 2020-10-9 10:09
这些板子都不好弄，讲道理对于cp2k最靠谱的方法就是多弄几台双路机器，这种跨节点并行万兆网络足以

确实，现在cpu和板子都是不好搞，坏了更不好修

abin · 发表于 Post on 2020-10-9 10:55:51

喵星大佬发表于 2020-10-9 10:09
这些板子都不好弄，讲道理对于cp2k最靠谱的方法就是多弄几台双路机器，这种跨节点并行万兆网络足以

这才是比较实际的解决方案。

如果钱多，当然可以用更高端的网络了。

如果预算有限，万兆网络就很好了。

bobosiji · 发表于 Post on 2020-10-9 19:10:04

喵星大佬发表于 2020-10-9 10:09
这些板子都不好弄，讲道理对于cp2k最靠谱的方法就是多弄几台双路机器，这种跨节点并行万兆网络足以

gromacs VASP跨节点并行万兆网络行不？

xexlalalan · 发表于 Post on 2020-10-11 07:46:55

谢谢大家！我又问了一下电子市场的人，他们说四路的板子不好拣，拣到了也卖的非常贵；八路更是天方夜谭。还是用双路的机子跨节点吧

啦啦黑还黑 · 发表于 Post on 2020-10-11 11:59:18

xexlalalan 发表于 2020-10-11 07:46
谢谢大家！我又问了一下电子市场的人，他们说四路的板子不好拣，拣到了也卖的非常贵；八路更是天方夜谭。还 ...

这电子市场的人有点业余呀，用2049的超微的准系统就行啊，四路铂金能上112核，最近也降价了，还挺划算的。

abin · 发表于 Post on 2020-10-11 12:05:34

bobosiji 发表于 2020-10-9 19:10
gromacs VASP跨节点并行万兆网络行不？

没钱就凑合用万兆，有钱用IB。

没有什么行不行。

就如同八千多的电话机也能用，
500多的电话机也能用。
用起来爽不爽是另一个事情了。

鉴于VASP主要写内存的事实，
没有良好的网络支撑，还是单机多核心并行效率最高。

小规模的集群，比如四五台机器，万兆网络也用的不错的，当然比起IB来，是差很多的。

记得之前看过，在64核心机器上，多节点并行，
每个机器使用62核心，效果最佳。
因为要预留两个处理器核心来负载网络通讯业务。

乐平 · 发表于 Post on 2021-2-21 12:37:05

喵星大佬发表于 2020-10-9 03:58
cp2k的计算线性很好，跨节点并行效率很高，所以没必要捡这种，直接多组几台普通的服务器用交换机连起来就好 ...

你好，我测试了 CP2K /benchmark/QS_ot_ls 目录下的 H2O-512.inp 计算

图中是 H2O-512-1.ener 文件的截图，对比了单个节点 16 核计算的结果（上图），以及跨两个节点，每个节点16核，共32核计算的结果（下图）。

图中最后一列是每个 inner SCF 的耗时情况。明显跨节点计算的耗时更多…… 可能是各个节点之间的通讯太慢了……

啦啦黑还黑 · 发表于 Post on 2021-2-21 13:21:30

乐平发表于 2021-2-21 12:37
你好，我测试了 CP2K /benchmark/QS_ot_ls 目录下的 H2O-512.inp 计算

图中是 H2O-512-1.ener 文件的 ...

乐平兄，cp2k和vasp要想节点间并行，必须上IB的。万兆和千兆只会更慢。可以上庚子矩阵的超算上试试，IB并行的benchmark，大体系跨节点速度很快。

abin · 发表于 Post on 2021-2-21 13:51:21

乐平发表于 2021-2-21 12:37
你好，我测试了 CP2K /benchmark/QS_ot_ls 目录下的 H2O-512.inp 计算

图中是 H2O-512-1.ener 文件的 ...

什么网络？

做测试的时候，就只有你的计算任务在使用网络？
或者说，是专用私有网络，还是共享的网络？

乐平 · 发表于 Post on 2021-2-21 16:32:49

本帖最后由乐平于 2021-2-21 10:34 编辑

abin 发表于 2021-2-21 07:51
什么网络？

做测试的时候，就只有你的计算任务在使用网络？

实验室的服务器，还有别人的任务另外的节点在运行。我的任务占用两个节点。

Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz，64 GB内存

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[配置讨论] 四路乃至八路的服务器用cp2k做AIMD并行效率如何？

评分 Rate

评分 Rate