搞个1.5Tddr3内存的机器，双路跨节点还是四路？

biogon · 发表于 Post on 2021-1-10 12:48:09

朋友最近要搞一个低成本超大内存机器，看ddr3内存现在很便宜，准备上一个1.5T容量的，现在就看了用两台双路机器跨节点或者四路机器，因为没搞过跨节点的东西，不知道额外要花多少的成本，总共加起来1.5w能否搞定，看了下如果想搞3T的总内存量似乎就只能用两个双路机器了

abin · 发表于 Post on 2021-1-10 13:59:35

看应用场景。

双机器，根据使用场景不同，
也许要搭配IB网络，比如100Gbps的IB网络。

biogon · 发表于 Post on 2021-1-10 14:12:05

abin 发表于 2021-1-10 13:59
看应用场景。

双机器，根据使用场景不同，

IB贵了点吧，40G感觉也够用了

abin · 发表于 Post on 2021-1-10 15:40:44

biogon 发表于 2021-1-10 14:12
IB贵了点吧，40G感觉也够用了

前几日，有朋友提到，两个机器，
可以用IB ‘直通线’，
如果有这种神器而且还可以工作，
就不用IB交换机了。

biogon · 发表于 Post on 2021-1-10 15:51:46

本帖最后由 biogon 于 2021-1-10 15:54 编辑

abin 发表于 2021-1-10 15:40
前几日，有朋友提到，两个机器，
可以用IB ‘直通线’，
如果有这种神器而且还可以工作，

有意思，要是有这个就很方便了
另外我有个问题就是双子星四子星这种机器拓扑结构是什么样的，是类似单机多路主板还是多个节点跨节点的

abin · 发表于 Post on 2021-1-10 16:40:45

biogon 发表于 2021-1-10 15:51
有意思，要是有这个就很方便了
另外我有个问题就是双子星四子星这种机器拓扑结构是什么样的，是类似单机 ...

就是一个标准2U中，
塞多个机器而已。
那个机器都是独立的服务器。

如果机房空调很好，
再配一个交换机，这就是完美的多节点集群。
戴尔有一堆这种机器，
也有广达的便宜货。

机房散热不好千万别用，
热了就降频的。

噪音堪称起飞了。

biogon · 发表于 Post on 2021-1-10 17:31:29

abin 发表于 2021-1-10 16:40
就是一个标准2U中，
塞多个机器而已。
那个机器都是独立的服务器。

原来是这个样子的，那看样子也是没法在家用，估计能吵死人

灰飞的旋律 · 发表于 Post on 2021-1-11 09:43:39

abin 发表于 2021-1-10 15:40
前几日，有朋友提到，两个机器，
可以用IB ‘直通线’，
如果有这种神器而且还可以工作，

这个我去了解了下，按我的理解，两台机器最好采用万兆网卡，采用直通线时，网络传输速率可以达到网卡理论上限的90%

abin · 发表于 Post on 2021-1-11 10:56:40

本帖最后由 abin 于 2021-1-11 20:45 编辑

灰飞的旋律发表于 2021-1-11 09:43
这个我去了解了下，按我的理解，两台机器最好采用万兆网卡，采用直通线时，网络传输速率可以达到网卡理论 ...

这里提到的双机集群，
就是采用以太网直通方案，
https://www.bilibili.com/video/BV1GE41177Mm

可以根据实际预算进行升级。
比如采用千兆，万兆，甚至是56Gbps、200Gbps IB网络。

我本人对于IB网络能否采用类似以太网的直通线方式，比较怀疑。默认光缆或者同缆无法直连。
购买的时候，和商家讲明白，
要两台机器直通，他们晓得给你啥线缆，
准备好资金就可以了。
资金不足，就别嚷嚷了。

经常有“道德模范艺术家”指责我提供的集群方案中采用千兆以太网是十分愚蠢的。
但是这些“道德模范”从来不动手去查查，IB网络，网卡，线缆和交换机，一套需要多少钱。
总预算2万人民币，要做两节点72核心以上，
还要坚持用IB网络，这真是喝多了。

abin · 发表于 Post on 2021-1-11 11:25:00

灰飞的旋律发表于 2021-1-11 09:43
这个我去了解了下，按我的理解，两台机器最好采用万兆网卡，采用直通线时，网络传输速率可以达到网卡理论 ...

修正一下。
IB 可以直通。
买对设备就可以。

biogon · 发表于 Post on 2021-1-11 11:38:43

abin 发表于 2021-1-11 11:25
修正一下。
IB 可以直通。
买对设备就可以。

需要买啥设备，我也了解一下

abin · 发表于 Post on 2021-1-11 11:49:22

本帖最后由 abin 于 2021-1-11 11:50 编辑

biogon 发表于 2021-1-11 11:38
需要买啥设备，我也了解一下

比如
确保机器有空闲的PCIe x16 3.0 或者4.0全速接口一个。

QSFP28 直通线缆，带模块两个；可以使用铜缆或者光缆。

无需交换机。

IB网络，可以把机器之间的通讯时间，维持在微秒级别；以太网，大概是毫秒级别。

价格，淘宝上6000的也有，也有几百的。线缆，有几百的，也有十几元的。

如果犹豫不决，直接买新品，让商家负责调试可用就行了。

根据以往的经验，
如果两台机器互通，比如都是36核心机器，
那么每台机器预留2或者4个CPU核心，用来负责I/O，是比较不错的搭配。
IB网络和是和CPU、内存等直通通讯的，所以延时十分低。
不预留部分CPU核心负责I/O，可能性能有明显下降。

biogon · 发表于 Post on 2021-1-11 11:59:36

abin 发表于 2021-1-11 11:49
比如
确保机器有空闲的PCIe x16 3.0 或者4.0全速接口一个。

看了下淘宝，100G的网卡还是挺贵的

janstao · 发表于 Post on 2021-1-11 22:31:16

本帖最后由 janstao 于 2021-1-11 22:34 编辑

abin 发表于 2021-1-10 13:59
看应用场景。

双机器，根据使用场景不同，

他就1.5W预算，100G超预算了。

biogon · 发表于 Post on 2021-1-12 09:21:42

janstao 发表于 2021-1-11 22:31
他就1.5W预算，100G超预算了。

40或者56G相比100G的延迟差别如何？

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[配置讨论] 搞个1.5Tddr3内存的机器，双路跨节点还是四路？