双路platinum 8163+超微X11DAI-N 主板配不同内存计算速度对比

Tanya

    年底集中用钱，联系了淘宝卖家配了一台双路platinum 8163服务器，因为时间仓促，没有仔细调研。按照经费预算卖家的推荐配置如下：

CPU 8163*2
主板 超微X11DAI-N
内存 三星DDR4 2400 16G*8=128G
硬盘 希捷2T
电源 长城1000W
    顺丰到货后拆开看了一下，发现卖家内存插法有点奇怪。超微X11DAI-N每个CPU两边各有4个内存插槽，编号是A1 B1 C1 C2-----D2 D1 E1 F1。卖家把内存插在A1 B1 C1----D1上了，CPU的一边是三根，另外一边是1根，处于不对称状态。与卖家联系后，回复说他们都是这样插的。
    卖家给装好了Win10 ，开机简单用ＣＰＵ－Ｚ测试了一下，确认ＣＰＵ和内存型号无误，在Win10下烤了一夜，也很稳定，每个CPU的24核全开温度只有48度（室温20度）。
    然后装好CentOS 7.3和G16，测试了一下test0397，大跌眼镜。速度（耗时138.7秒）居然比我原来的双路2696V3（耗时130.4秒）还慢。上超微官网下载了X11DAI-N的说明书，发现卖家的内存插法是错误的。C621芯片组最多支持6路内存，这种插法应该只是开启了三路，重新按照 A1 B1 ---- D1 E1插上内存再算，速度比较正常了（耗时102.0秒），这下有数了。我的双路2696V3上的内存条也是DDR4 2400的规格，拆下4根把双路8163服务器的六路补齐了，再算test0397，提高到了90.4秒。为了对比内存位置和核数对G16计算速度的影响，索性从48到24核每隔4个测试了一下，测试结果见附表。
    从表中数据可见核数越多内存的位置对计算速度影响越大，也就是说内存带宽对高斯计算速度影响较大，随着核数的减少，不同内存位置的差异减小，到24核时4路和6路的差别已经减小到2秒，说明此时的速度瓶颈已经不是内存的带宽了。
    最后找卖家把8根三星DDR4 2400换成12根镁光DDR4 2666，贴了差价。拿到镁光后又测了一下，速度又有微小的提升（89.9秒）。
   从4路的102秒到6路的90秒，大约多加了10%的费用，但速度提升超过10%，费效比还是很高的。相同的核数8163的计算速度比2696V3有较大提升，说明新的至强81** 系列CPU的确有了很大进步。从对比可以看出如果经费有限的话，对于主要用于高斯计算的服务器，配齐6路十二根小内存比8根大内存更具费效比。


附表：

CPU	使用核数	G16(B01)AVX2计算   test0397时间（秒）	内存	插槽位置   X11DAI-N
双路2696 v3	36	130.4	128G 4路 DDR4 2400
双路2696 v3	32	140.3	128G 4路DDR4 2400
双路2696 v3	28	150.1	128G 4路DDR4 2400
双路2696 v3	24	167.7	128G 4路DDR4 2400
双路8163	48	138.7	128G 3路DDR4 2400	ABC-D
双路8163	36	139.9	128G 3路DDR4 2400	ABC-D
双路8163	32	139.3	128G 3路DDR4 2400	ABC-D
双路8163	28	146.8	128G 3路DDR4 2400	ABC-D
双路8163	24	157.6	128G 3路DDR4 2400	ABC-D
双路8163	48	102.0	128G 4路DDR4 2400	AB-DE
双路8163	36	108.6	128G 4路DDR4 2400	AB-DE
双路8163	32	117.2	128G 4路DDR4 2400	AB-DE
双路8163	28	127.7	128G 4路DDR4 2400	AB-DE
双路8163	24	142.9	128G 4路DDR4 2400	AB-DE
双路8163	48	90.4（掐秒表90.8）	192G 6路 DDR4 2400	ABC-DEF
双路8163	44	94.8	192G 6路 DDR4 2400	ABC-DEF
双路8163	40	98.1	192G 6路 DDR4 2400	ABC-DEF
双路8163	36	104.5（掐秒表105.0）	192G 6路 DDR4 2400	ABC-DEF
双路8163	32	113.5	192G 6路 DDR4 2400	ABC-DEF
双路8163	28	125.0	192G 6路 DDR4 2400	ABC-DEF
双路8163	24	140.8	192G 6路 DDR4 2400	ABC-DEF
双路8163	48	89.9	192G 6路 DDR4 2666	ABC-DEF
双路8163	44	93.4	192G 6路 DDR4 2666	ABC-DEF
双路8163	40	98.0	192G 6路 DDR4 2666	ABC-DEF
双路8163	36	103.9	192G 6路 DDR4 2666	ABC-DEF
双路8163	32	112.9	192G 6路 DDR4 2666	ABC-DEF
双路8163	28	124.9	192G 6路 DDR4 2666	ABC-DEF
双路8163	24	141.2	192G 6路 DDR4 2666	ABC-DEF

注，双路2696V3主板为intel 2600CW2 （intelC612芯片组），G16（B01）AVX2计算时内存都选择100G。计算参数使用默认设置。

Qilin

Tanya 发表于 2021-10-26 16:41
每个CPU是六通道，双路当然是12通道啦。虽然没试过，但我估计六根内存条只插在一边的话，没插内存条的U估 ...

哈哈，好玩儿

Zhuoran

我查了一下X11-DAi-N的主板Manual，看到这样一个内存配置。请问这个如何理解呢？对于某一个CPU，是不是应当按照A1-B1-C1-D1-E1-F1-A2-D2的顺序安装内存呢？而不是应当出现ABEF的状态？

Tanya

404039756 发表于 2021-10-22 20:37
看着我有点懵，3647主板上16个内存插槽，其中有4个应该是共享通道。安装2个CPU，每个是6通道，插满12根内存 ...

每个CPU是六通道，双路当然是12通道啦。虽然没试过，但我估计六根内存条只插在一边的话，没插内存条的U估计无法工作。
最新的4189针白金8300系列的是8通道，要插16根才快。

404039756

看着我有点懵，3647主板上16个内存插槽，其中有4个应该是共享通道。安装2个CPU，每个是6通道，插满12根内存的话，通道数会叠加吗？如果还是6通道，那我插6根内存和12根内存有啥区别啊？还有我看论坛里有的说应该插8根内存，不知道咋理解。。

sobereva

snaily 发表于 2021-7-5 19:16
老师，请问是否需要插满16根内存条呢？目前是12根

不需要

snaily

sobereva 发表于 2021-7-1 06:40
内存通道数取决于CPU里的内存控制器，跟主板有多少槽是两码事

老师，请问是否需要插满16根内存条呢？目前是12根

sobereva

snaily 发表于 2021-6-17 20:38
请问为什么这个主板支持16根内存条，却只有6通道？还剩下四根内存插槽对计算影响大吗？ 做vasp计算

内存通道数取决于CPU里的内存控制器，跟主板有多少槽是两码事

snaily

请问为什么这个主板支持16根内存条，却只有6通道？还剩下四根内存插槽对计算影响大吗？ 做vasp计算

乐平

ghost 发表于 2021-4-5 00:48
8173m的cpu吗？单颗8173m的内存通道数是6条，插12条内存是为了更大程度发挥内存的带宽

谢谢回复。那是不是插满 16 条内存浪费了呢？

ghost

乐平 发表于 2021-4-4 22:05
弱弱地问一下，我看到 超微X11DAI-N 主板上有 16 个内存插槽，为什么只插了 12 根内存条呢？

8173m的cpu吗？单颗8173m的内存通道数是6条，插12条内存是为了更大程度发挥内存的带宽

乐平

弱弱地问一下，我看到 超微X11DAI-N 主板上有 16 个内存插槽，为什么只插了 12 根内存条呢？

sobereva

ghost 发表于 2021-3-30 10:42
2666和2933的内存，性能差距大吗？

不

ghost

2666和2933的内存，性能差距大吗？

Dwwen

您好，请问一下，为什么我的2699v3双路在虚拟机中跑test0397得需要4分多，分配32、120GB

Tanya

今天帮个同事在AMD 3900X上装了G16 B01 顺便测了一下test0397：
real    3m2.671s
user    36m15.347s
sys     0m1.295s

关闭了超线程，也就是12核。内存64G.

觉得用来算gaussian性价比挺高。

看了下计算时CPU频率，大概到4.2G以上。