搞个1.5Tddr3内存的机器，双路跨节点还是四路？

biogon

朋友最近要搞一个低成本超大内存机器，看ddr3内存现在很便宜，准备上一个1.5T容量的，现在就看了用两台双路机器跨节点或者四路机器，因为没搞过跨节点的东西，不知道额外要花多少的成本，总共加起来1.5w能否搞定，看了下如果想搞3T的总内存量似乎就只能用两个双路机器了

biogon

wang7344412 发表于 2023-3-22 10:59
大佬，最后这个配置搞出来了么？最后大概花费多少呀？我发现ddr3内存好像还涨价了。现在组ddr3大内存服务 ...

最后没装，现在甭买ddr3了，ddr4都降得很低了，现在直接32条64g，一万二差不多就够了

wang7344412

biogon 发表于 2021-3-2 15:45
好。

大佬，最后这个配置搞出来了么？最后大概花费多少呀？我发现ddr3内存好像还涨价了。现在组ddr3大内存服务器还有性价比么？

biogon

abin 发表于 2021-3-2 14:54
是。

好。  

abin

biogon 发表于 2021-3-2 13:43
IB如果是两个机器互联的话是不是两个机器各搞一个单口网卡就行？

是。

biogon

abin 发表于 2021-3-2 13:31
你试试呗。
可以先用普通网卡试试。
然后再弄IB网络。

IB如果是两个机器互联的话是不是两个机器各搞一个单口网卡就行？

abin

biogon 发表于 2021-3-2 10:38
三台机器用IB两两互联能不能进行跨节点并行？

你试试呗。
可以先用普通网卡试试。
然后再弄IB网络。
大不了修改IB卡的工作模式。

大概思路是
host1 一个卡
host2 两个卡
host3 一个卡

host2类似交换机呗。

具体自己实施吧。

biogon

abin 发表于 2021-2-8 12:19
看产品技术细节，有讲到的。

三台机器用IB两两互联能不能进行跨节点并行？

abin

biogon 发表于 2021-1-12 09:21
40或者56G相比100G的延迟差别如何？

看产品技术细节，有讲到的。

abin

biogon 发表于 2021-1-12 15:37
不管带宽，只要是IB卡就行是吧

是。

建议买来测试，不满意退货。

一般而言，无论是IB卡，还是万兆光纤网卡，
按照标称值，都会是达标的。

至于，能给你的计算带来多大的效率提升，
因素很多的。
可以测试最常见的VASP。
这个东西基本不写硬盘，测试起来可以控制的因素比较好调整。

biogon

abin 发表于 2021-1-12 15:30
这种设备，
time delay可以忽略，
差距在带宽。

不管带宽，只要是IB卡就行是吧

abin

biogon 发表于 2021-1-12 09:21
40或者56G相比100G的延迟差别如何？

这种设备，
time delay可以忽略，
差距在带宽。

对于常见的VASP应用，
如果调控的好，万兆都可以很轻松，我指的是带宽独享的情形下。
比如，双节点集群中；限定作业占据所有资源，那么就会是带宽独享啊。

biogon

janstao 发表于 2021-1-11 22:31
他就1.5W预算，100G超预算了。

40或者56G相比100G的延迟差别如何？

janstao

abin 发表于 2021-1-10 13:59
看应用场景。

双机器，根据使用场景不同，

他就1.5W预算，100G超预算了。

biogon

abin 发表于 2021-1-11 11:49
比如
确保机器有空闲的PCIe x16 3.0 或者4.0全速接口一个。

看了下淘宝，100G的网卡还是挺贵的