请评估一下集群配置

abin · 发表于 Post on 2023-3-23 14:07:45

本帖最后由 abin 于 2023-3-23 14:48 编辑

中标信息在这里:

https://cgglzx.jlu.edu.cn/provider/#/publish/20LBKM4KT89MED76

很有意思吧?
对, 没有具体的机器配置信息. 5180M, 只是一个系列的大型号而已......
只有一个48个端口的100G IB交换机, 意味着只有部分机器能接入高速玩过, 享受到高速并行文件系统带来的高性能I/O.
从硬件推测, 其他大部分机器, I/O都是通过网络, 读写并行文件系统呗?
卡不卡, 用的时候就知道了.

很久之前的曙光5000A就这种配置, 卡的要死.

另一个问题, 4个48端口的10GbE, 如何把接近190台机器, 连接到同一个局域网里面? 或许是采用该交换机上的额外的6个40Gbps端口, 做汇聚连接.
100Gb的IB交换机, 做核心交换机, 把4个10GbE交换机连接起来,
然后再把所有节点和并行存储连接起来.
那可真就是以太网模式了. 哈哈哈.....

还有, 比如一个48个端口的千兆, 如何组成一个管理网络, 管理190多台机器?

其他奇葩问题, 大家挖掘吧.

beowulf · 发表于 Post on 2023-3-24 16:19:28

abin 发表于 2023-3-24 12:25
我觉得，只跑vasp这种，
而且限定单节点的话，啥毛病都没有……
来一个算高斯激发态频率的，或者跑ORC ...

所以这帮家伙大概率做了分区，一台ib扛下了一切。

要不将近200个点，全部无阻塞的话要买一大堆ib交换机了。
就算2:1的话也得好几台，不少钱呢。

NGC626 · 发表于 Post on 2023-3-24 14:27:26

惊现校友

abin · 发表于 Post on 2023-3-24 12:25:58

beowulf 发表于 2023-3-24 09:50
部分节点上了ib，满足跨节点作业，那个40口的交换机可以做1分2当作80口用。

或者人家想好了那里面100多 ...

我觉得，只跑vasp这种，
而且限定单节点的话，啥毛病都没有……
来一个算高斯激发态频率的，或者跑ORCA的
这套系统的IO估计压力很大，IO_wait应该不低。

没看到具体的配置明细，不好做更多评价。

IB网络，
不仅可以用来做RDMA，
也可以让MPI进程在多节点之间交换数据，
还需要承担IO。

过几天就晓得具体情况了。

beowulf · 发表于 Post on 2023-3-24 09:50:36

部分节点上了ib，满足跨节点作业，那个40口的交换机可以做1分2当作80口用。

或者人家想好了那里面100多个普通节点就是一个一个用呗，反正那些vasp用户基本不需要io，读写和输入输出文件10GB不是不能用。

讲真话这配置没毛病，某些地方一堆堆的ib机器但是从来都是一个个节点分开用才有毛病。

abin · 发表于 Post on 2023-3-24 06:54:52

Entropy.S.I 发表于 2023-3-24 01:33
真照这配置做，出来的“集群”，就是上百个台式电脑，真没法用，纯纯面子工程
只能善意地理解为之前已经有 ...

我上文的描述中，
说那一台IB交换机具有48个端口，
实际上是我敲错了。
当然是40个端口了。

我相信，中标文件中，
应该不是笔误或者敲错了吧？
各种交换机的数量也不是写错了吧？
毕竟单价都是好几万元的东西，
怎么能写错数量呢？

旁听了机器安置讨论会，
要彻底腾空现有机房里面的旧机器，
重新装修放置新机器。

不过也没说，新机器让不让用。

从当前的配置来推测，
这套机器会很卡，因为IO太差劲了。

Entropy.S.I · 发表于 Post on 2023-3-24 01:33:44

本帖最后由 Entropy.S.I 于 2023-3-24 01:54 编辑

真照这配置做，出来的“集群”，就是上百个台式电脑，真没法用，纯纯面子工程
只能善意地理解为之前已经有了部分配件

另外，纠正一下，IB HDR是200G不是100G，迈络斯MQM8700-HS2F是40端口不是48端口。不过不影响这配置的离谱程度

iwait · 发表于 Post on 2023-3-23 23:45:56

东北银劝你一句：投资不过山海关[doge]

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[其它] 请评估一下集群配置