计算化学公社

标题: 请教各位，两台8173M双路服务器可以组一个小小的集群吗？ [打印本页]

作者
Author: rabbitkiller 时间: 2020-11-13 18:07
标题: 请教各位，两台8173M双路服务器可以组一个小小的集群吗？
之前按照社长推荐的配置买了一台双路8173M的服务器，用来跑ORCA和QE(主要算结构优化、能带、态密度)。现在发现体系大一些时，计算通常要跑一两天，甚至三四天。我想是否可以再买一台双路8173M，两台组个小集群，这样可以调用的核可以多一些，计算可以快一点…

作者
Author: CrysLantZ 时间: 2020-11-13 18:54
我以前也有这想法，后来放弃了
两个节点之间信息传输是瓶颈，需要IB卡，你可以查查报价。
期待高手解答

作者
Author: CrysLantZ 时间: 2020-11-13 18:58
补充下，网线简单连接2个节点是可以的，但并行是个问题。

跑三四天，我感觉还可以接受吧
1个节点56核，2个节点并行效率也下降不少吧
不如2个节点单独运行合算，我感觉

作者
Author: rabbitkiller 时间: 2020-11-13 20:07

CrysLantZ 发表于 2020-11-13 18:58
补充下，网线简单连接2个节点是可以的，但并行是个问题。

跑三四天，我感觉还可以接受吧

我记得论坛上有大佬提过用万兆网卡通信，不知道会不会缓解双击通信问题？

还有，8173M支不支持四路？是不是搞个四路的服务器也可以？

作者
Author: biogon 时间: 2020-11-13 20:11

rabbitkiller 发表于 2020-11-13 20:07
我记得论坛上有大佬提过用万兆网卡通信，不知道会不会缓解双击通信问题？

还有，8173M支不支持四路？ ...

8173M最高支持八路，但是四路主板非常昂贵，一般是双路板子的三四倍价格

作者
Author: abin 时间: 2020-11-13 20:28

CrysLantZ 发表于 2020-11-13 18:54
我以前也有这想法，后来放弃了
两个节点之间信息传输是瓶颈，需要IB卡，你可以查查报价。
期待高手解答

现在用廉价的万兆光纤，可以凑合用。
成本比采用四路便宜。

我说的廉价，指的是和IB网络对比。

如果目前已经又一台机器了，第二个机器，有系统盘和网络就可以了。
如果不会搭建，可以联系我。
自己动手呢，
可以参考：
http://bbs.keinsci.com/thread-16010-1-1.html
http://bbs.keinsci.com/thread-19636-1-1.html

作者
Author: rabbitkiller 时间: 2020-11-13 20:59

abin 发表于 2020-11-13 20:28
现在用廉价的万兆光纤，可以凑合用。
成本比采用四路便宜。

请问用万兆光纤的话，跨节点并行情况如何？

作者
Author: rabbitkiller 时间: 2020-11-13 20:59

biogon 发表于 2020-11-13 20:11
8173M最高支持八路，但是四路主板非常昂贵，一般是双路板子的三四倍价格

所以要好好算算经济账

作者
Author: abin 时间: 2020-11-13 21:07

rabbitkiller 发表于 2020-11-13 20:59
请问用万兆光纤的话，跨节点并行情况如何？

之前帮一位网友配置过，
他自己说，用vasp，双机器全核心并行，
效果很棒。

效果很棒，这是他自己讲的。

你如果有vasp算例，
并告诉我这东西如何跑，我可以测试下。
正好这个周末我的机器空闲。

算例耗时控制在1小时左右最好。

作者
Author: rabbitkiller 时间: 2020-11-13 21:54

abin 发表于 2020-11-13 21:07
之前帮一位网友配置过，
他自己说，用vasp，双机器全核心并行，
效果很棒。

我学的是qe，所以手头只有qe的东西

另外，我还想请教下。双机并行的话，两个机器的内存也是共享的么？比如，一台机器内存192GB，另一台384GB，我可以调用450GB的内存么？

谢谢！

作者
Author: abin 时间: 2020-11-13 22:03
本帖最后由 abin 于 2020-11-13 22:05 编辑

rabbitkiller 发表于 2020-11-13 21:54
我学的是qe，所以手头只有qe的东西

另外，我还想请教下。双机并行的话，两个机器的内存也是共享 ...

You can set memory for each MPI rank.

作者
Author: rabbitkiller 时间: 2020-11-13 22:07

abin 发表于 2020-11-13 22:03
You can set memory for each MPI rank.

嗯嗯，谢谢！

作者
Author: beowulf 时间: 2020-11-14 08:38

CrysLantZ 发表于 2020-11-13 18:54
我以前也有这想法，后来放弃了
两个节点之间信息传输是瓶颈，需要IB卡，你可以查查报价。
期待高手解答

IB卡淘宝的二手货价格还可以，就是水深。
IB的线也不便宜，正价小一千。
单端口的IB，两台机器是可以直联的。
双端口理论上三台机器可以连，不用交换机。

淘宝偶尔也有比较古老的8口IB交换机，带宽一般。

作者
Author: abin 时间: 2020-11-14 11:59

beowulf 发表于 2020-11-14 08:38
IB卡淘宝的二手货价格还可以，就是水深。
IB的线也不便宜，正价小一千。
单端口的IB，两台机器是可以直 ...

对的，使用双口的网卡，
三台机器可以不用交换机。
需要做些路由设定就可以。

IB的交换机需要授权才可使用。
不是普通交换机，
买来接线就能用的。

欢迎光临计算化学公社 (http://bbs.keinsci.com/)