计算化学公社

标题: 搞个1.5Tddr3内存的机器，双路跨节点还是四路？ [打印本页]

作者
Author: biogon 时间: 2021-1-10 12:48
标题: 搞个1.5Tddr3内存的机器，双路跨节点还是四路？
朋友最近要搞一个低成本超大内存机器，看ddr3内存现在很便宜，准备上一个1.5T容量的，现在就看了用两台双路机器跨节点或者四路机器，因为没搞过跨节点的东西，不知道额外要花多少的成本，总共加起来1.5w能否搞定，看了下如果想搞3T的总内存量似乎就只能用两个双路机器了

作者
Author: abin 时间: 2021-1-10 13:59
看应用场景。

双机器，根据使用场景不同，
也许要搭配IB网络，比如100Gbps的IB网络。

作者
Author: biogon 时间: 2021-1-10 14:12

abin 发表于 2021-1-10 13:59
看应用场景。

双机器，根据使用场景不同，

IB贵了点吧，40G感觉也够用了

作者
Author: abin 时间: 2021-1-10 15:40

biogon 发表于 2021-1-10 14:12
IB贵了点吧，40G感觉也够用了

前几日，有朋友提到，两个机器，
可以用IB ‘直通线’，
如果有这种神器而且还可以工作，
就不用IB交换机了。

作者
Author: biogon 时间: 2021-1-10 15:51
本帖最后由 biogon 于 2021-1-10 15:54 编辑

abin 发表于 2021-1-10 15:40
前几日，有朋友提到，两个机器，
可以用IB ‘直通线’，
如果有这种神器而且还可以工作，

有意思，要是有这个就很方便了
另外我有个问题就是双子星四子星这种机器拓扑结构是什么样的，是类似单机多路主板还是多个节点跨节点的

作者
Author: abin 时间: 2021-1-10 16:40

biogon 发表于 2021-1-10 15:51
有意思，要是有这个就很方便了
另外我有个问题就是双子星四子星这种机器拓扑结构是什么样的，是类似单机 ...

就是一个标准2U中，
塞多个机器而已。
那个机器都是独立的服务器。

如果机房空调很好，
再配一个交换机，这就是完美的多节点集群。
戴尔有一堆这种机器，
也有广达的便宜货。

机房散热不好千万别用，
热了就降频的。

噪音堪称起飞了。

作者
Author: biogon 时间: 2021-1-10 17:31

abin 发表于 2021-1-10 16:40
就是一个标准2U中，
塞多个机器而已。
那个机器都是独立的服务器。

原来是这个样子的，那看样子也是没法在家用，估计能吵死人

作者
Author: 灰飞的旋律 时间: 2021-1-11 09:43

abin 发表于 2021-1-10 15:40
前几日，有朋友提到，两个机器，
可以用IB ‘直通线’，
如果有这种神器而且还可以工作，

这个我去了解了下，按我的理解，两台机器最好采用万兆网卡，采用直通线时，网络传输速率可以达到网卡理论上限的90%

作者
Author: abin 时间: 2021-1-11 10:56
本帖最后由 abin 于 2021-1-11 20:45 编辑

灰飞的旋律发表于 2021-1-11 09:43
这个我去了解了下，按我的理解，两台机器最好采用万兆网卡，采用直通线时，网络传输速率可以达到网卡理论 ...

这里提到的双机集群，
就是采用以太网直通方案，
https://www.bilibili.com/video/BV1GE41177Mm

可以根据实际预算进行升级。
比如采用千兆，万兆，甚至是56Gbps、200Gbps IB网络。

我本人对于IB网络能否采用类似以太网的直通线方式，比较怀疑。默认光缆或者同缆无法直连。
购买的时候，和商家讲明白，
要两台机器直通，他们晓得给你啥线缆，
准备好资金就可以了。
资金不足，就别嚷嚷了。

经常有“道德模范艺术家”指责我提供的集群方案中采用千兆以太网是十分愚蠢的。
但是这些“道德模范”从来不动手去查查，IB网络，网卡，线缆和交换机，一套需要多少钱。
总预算2万人民币，要做两节点72核心以上，
还要坚持用IB网络，这真是喝多了。

作者
Author: abin 时间: 2021-1-11 11:25

灰飞的旋律发表于 2021-1-11 09:43
这个我去了解了下，按我的理解，两台机器最好采用万兆网卡，采用直通线时，网络传输速率可以达到网卡理论 ...

修正一下。
IB 可以直通。
买对设备就可以。

作者
Author: biogon 时间: 2021-1-11 11:38

abin 发表于 2021-1-11 11:25
修正一下。
IB 可以直通。
买对设备就可以。

需要买啥设备，我也了解一下

作者
Author: abin 时间: 2021-1-11 11:49
本帖最后由 abin 于 2021-1-11 11:50 编辑

biogon 发表于 2021-1-11 11:38
需要买啥设备，我也了解一下

比如
确保机器有空闲的PCIe x16 3.0 或者4.0全速接口一个。

QSFP28 直通线缆，带模块两个；可以使用铜缆或者光缆。

无需交换机。

IB网络，可以把机器之间的通讯时间，维持在微秒级别；以太网，大概是毫秒级别。

价格，淘宝上6000的也有，也有几百的。线缆，有几百的，也有十几元的。

如果犹豫不决，直接买新品，让商家负责调试可用就行了。

根据以往的经验，
如果两台机器互通，比如都是36核心机器，
那么每台机器预留2或者4个CPU核心，用来负责I/O，是比较不错的搭配。
IB网络和是和CPU、内存等直通通讯的，所以延时十分低。
不预留部分CPU核心负责I/O，可能性能有明显下降。

作者
Author: biogon 时间: 2021-1-11 11:59

abin 发表于 2021-1-11 11:49
比如
确保机器有空闲的PCIe x16 3.0 或者4.0全速接口一个。

看了下淘宝，100G的网卡还是挺贵的

作者
Author: janstao 时间: 2021-1-11 22:31
本帖最后由 janstao 于 2021-1-11 22:34 编辑

abin 发表于 2021-1-10 13:59
看应用场景。

双机器，根据使用场景不同，

他就1.5W预算，100G超预算了。

作者
Author: biogon 时间: 2021-1-12 09:21

janstao 发表于 2021-1-11 22:31
他就1.5W预算，100G超预算了。

40或者56G相比100G的延迟差别如何？

作者
Author: abin 时间: 2021-1-12 15:30

biogon 发表于 2021-1-12 09:21
40或者56G相比100G的延迟差别如何？

这种设备，
time delay可以忽略，
差距在带宽。

对于常见的VASP应用，
如果调控的好，万兆都可以很轻松，我指的是带宽独享的情形下。
比如，双节点集群中；限定作业占据所有资源，那么就会是带宽独享啊。

作者
Author: biogon 时间: 2021-1-12 15:37

abin 发表于 2021-1-12 15:30
这种设备，
time delay可以忽略，
差距在带宽。

不管带宽，只要是IB卡就行是吧

作者
Author: abin 时间: 2021-1-12 16:24

biogon 发表于 2021-1-12 15:37
不管带宽，只要是IB卡就行是吧

是。

建议买来测试，不满意退货。

一般而言，无论是IB卡，还是万兆光纤网卡，
按照标称值，都会是达标的。

至于，能给你的计算带来多大的效率提升，
因素很多的。
可以测试最常见的VASP。
这个东西基本不写硬盘，测试起来可以控制的因素比较好调整。

作者
Author: abin 时间: 2021-2-8 12:19

biogon 发表于 2021-1-12 09:21
40或者56G相比100G的延迟差别如何？

看产品技术细节，有讲到的。

作者
Author: biogon 时间: 2021-3-2 10:38

abin 发表于 2021-2-8 12:19
看产品技术细节，有讲到的。

三台机器用IB两两互联能不能进行跨节点并行？

作者
Author: abin 时间: 2021-3-2 13:31

biogon 发表于 2021-3-2 10:38
三台机器用IB两两互联能不能进行跨节点并行？

你试试呗。
可以先用普通网卡试试。
然后再弄IB网络。
大不了修改IB卡的工作模式。

大概思路是
host1 一个卡
host2 两个卡
host3 一个卡

host2类似交换机呗。

具体自己实施吧。

作者
Author: biogon 时间: 2021-3-2 13:43

abin 发表于 2021-3-2 13:31
你试试呗。
可以先用普通网卡试试。
然后再弄IB网络。

IB如果是两个机器互联的话是不是两个机器各搞一个单口网卡就行？

作者
Author: abin 时间: 2021-3-2 14:54

biogon 发表于 2021-3-2 13:43
IB如果是两个机器互联的话是不是两个机器各搞一个单口网卡就行？

是。

作者
Author: biogon 时间: 2021-3-2 15:45

abin 发表于 2021-3-2 14:54
是。

好。

作者
Author: wang7344412 时间: 2023-3-22 10:59

biogon 发表于 2021-3-2 15:45
好。

大佬，最后这个配置搞出来了么？最后大概花费多少呀？我发现ddr3内存好像还涨价了。现在组ddr3大内存服务器还有性价比么？

作者
Author: biogon 时间: 2023-3-22 16:20

wang7344412 发表于 2023-3-22 10:59
大佬，最后这个配置搞出来了么？最后大概花费多少呀？我发现ddr3内存好像还涨价了。现在组ddr3大内存服务 ...

最后没装，现在甭买ddr3了，ddr4都降得很低了，现在直接32条64g，一万二差不多就够了

欢迎光临计算化学公社 (http://bbs.keinsci.com/)