请评估一下集群配置

abin

中标信息在这里:

https://cgglzx.jlu.edu.cn/provider/#/publish/20LBKM4KT89MED76




很有意思吧?
对, 没有具体的机器配置信息. 5180M, 只是一个系列的大型号而已......
只有一个48个端口的100G IB交换机, 意味着只有部分机器能接入高速玩过, 享受到高速并行文件系统带来的高性能I/O.
从硬件推测, 其他大部分机器, I/O都是通过网络, 读写并行文件系统呗?
卡不卡, 用的时候就知道了.

很久之前的曙光5000A就这种配置, 卡的要死.

另一个问题, 4个48端口的10GbE, 如何把接近190台机器, 连接到同一个局域网里面? 或许是采用该交换机上的额外的6个40Gbps端口, 做汇聚连接.
100Gb的IB交换机, 做核心交换机, 把4个10GbE交换机连接起来,
然后再把所有节点和并行存储连接起来.
那可真就是以太网模式了. 哈哈哈.....


还有, 比如一个48个端口的千兆, 如何组成一个管理网络, 管理190多台机器?

其他奇葩问题, 大家挖掘吧.

iwait

东北银劝你一句：投资不过山海关[doge]

Entropy.S.I

真照这配置做，出来的“集群”，就是上百个台式电脑，真没法用，纯纯面子工程
只能善意地理解为之前已经有了部分配件

另外，纠正一下，IB HDR是200G不是100G，迈络斯MQM8700-HS2F是40端口不是48端口。不过不影响这配置的离谱程度

abin

Entropy.S.I 发表于 2023-3-24 01:33
真照这配置做，出来的“集群”，就是上百个台式电脑，真没法用，纯纯面子工程
只能善意地理解为之前已经有 ...

我上文的描述中，
说那一台IB交换机具有48个端口，
实际上是我敲错了。
当然是40个端口了。

我相信，中标文件中，
应该不是笔误或者敲错了吧？
各种交换机的数量也不是写错了吧？
毕竟单价都是好几万元的东西，
怎么能写错数量呢？

旁听了机器安置讨论会，
要彻底腾空现有机房里面的旧机器，
重新装修放置新机器。

不过也没说，新机器让不让用。

从当前的配置来推测，
这套机器会很卡，因为IO太差劲了。

beowulf

部分节点上了ib，满足跨节点作业，那个40口的交换机可以做1分2当作80口用。

或者人家想好了那里面100多个普通节点就是一个一个用呗，反正那些vasp用户基本不需要io，读写和输入输出文件10GB不是不能用。

讲真话这配置没毛病，某些地方一堆堆的ib机器但是从来都是一个个节点分开用才有毛病。

abin

beowulf 发表于 2023-3-24 09:50
部分节点上了ib，满足跨节点作业，那个40口的交换机可以做1分2当作80口用。

或者人家想好了那里面100多 ...

我觉得，只跑vasp这种，
而且限定单节点的话，啥毛病都没有……
来一个算高斯激发态频率的， 或者跑ORCA的
这套系统的IO估计压力很大，IO_wait应该不低。

没看到具体的配置明细，不好做更多评价。

IB网络，
不仅可以用来做RDMA，
也可以让MPI进程在多节点之间交换数据，
还需要承担IO。

过几天就晓得具体情况了。

NGC626

惊现校友

beowulf

abin 发表于 2023-3-24 12:25
我觉得，只跑vasp这种，
而且限定单节点的话，啥毛病都没有……
来一个算高斯激发态频率的， 或者跑ORC ...

所以这帮家伙大概率做了分区，一台ib扛下了一切。

要不将近200个点，全部无阻塞的话要买一大堆ib交换机了。
就算2:1的话也得好几台，不少钱呢。