双路platinum 8163+超微X11DAI-N 主板配不同内存计算速度对比

Tanya

    年底集中用钱，联系了淘宝卖家配了一台双路platinum 8163服务器，因为时间仓促，没有仔细调研。按照经费预算卖家的推荐配置如下：

CPU 8163*2
主板 超微X11DAI-N
内存 三星DDR4 2400 16G*8=128G
硬盘 希捷2T
电源 长城1000W
    顺丰到货后拆开看了一下，发现卖家内存插法有点奇怪。超微X11DAI-N每个CPU两边各有4个内存插槽，编号是A1 B1 C1 C2-----D2 D1 E1 F1。卖家把内存插在A1 B1 C1----D1上了，CPU的一边是三根，另外一边是1根，处于不对称状态。与卖家联系后，回复说他们都是这样插的。
    卖家给装好了Win10 ，开机简单用ＣＰＵ－Ｚ测试了一下，确认ＣＰＵ和内存型号无误，在Win10下烤了一夜，也很稳定，每个CPU的24核全开温度只有48度（室温20度）。
    然后装好CentOS 7.3和G16，测试了一下test0397，大跌眼镜。速度（耗时138.7秒）居然比我原来的双路2696V3（耗时130.4秒）还慢。上超微官网下载了X11DAI-N的说明书，发现卖家的内存插法是错误的。C621芯片组最多支持6路内存，这种插法应该只是开启了三路，重新按照 A1 B1 ---- D1 E1插上内存再算，速度比较正常了（耗时102.0秒），这下有数了。我的双路2696V3上的内存条也是DDR4 2400的规格，拆下4根把双路8163服务器的六路补齐了，再算test0397，提高到了90.4秒。为了对比内存位置和核数对G16计算速度的影响，索性从48到24核每隔4个测试了一下，测试结果见附表。
    从表中数据可见核数越多内存的位置对计算速度影响越大，也就是说内存带宽对高斯计算速度影响较大，随着核数的减少，不同内存位置的差异减小，到24核时4路和6路的差别已经减小到2秒，说明此时的速度瓶颈已经不是内存的带宽了。
    最后找卖家把8根三星DDR4 2400换成12根镁光DDR4 2666，贴了差价。拿到镁光后又测了一下，速度又有微小的提升（89.9秒）。
   从4路的102秒到6路的90秒，大约多加了10%的费用，但速度提升超过10%，费效比还是很高的。相同的核数8163的计算速度比2696V3有较大提升，说明新的至强81** 系列CPU的确有了很大进步。从对比可以看出如果经费有限的话，对于主要用于高斯计算的服务器，配齐6路十二根小内存比8根大内存更具费效比。


附表：

CPU	使用核数	G16(B01)AVX2计算   test0397时间（秒）	内存	插槽位置   X11DAI-N
双路2696 v3	36	130.4	128G 4路 DDR4 2400
双路2696 v3	32	140.3	128G 4路DDR4 2400
双路2696 v3	28	150.1	128G 4路DDR4 2400
双路2696 v3	24	167.7	128G 4路DDR4 2400
双路8163	48	138.7	128G 3路DDR4 2400	ABC-D
双路8163	36	139.9	128G 3路DDR4 2400	ABC-D
双路8163	32	139.3	128G 3路DDR4 2400	ABC-D
双路8163	28	146.8	128G 3路DDR4 2400	ABC-D
双路8163	24	157.6	128G 3路DDR4 2400	ABC-D
双路8163	48	102.0	128G 4路DDR4 2400	AB-DE
双路8163	36	108.6	128G 4路DDR4 2400	AB-DE
双路8163	32	117.2	128G 4路DDR4 2400	AB-DE
双路8163	28	127.7	128G 4路DDR4 2400	AB-DE
双路8163	24	142.9	128G 4路DDR4 2400	AB-DE
双路8163	48	90.4（掐秒表90.8）	192G 6路 DDR4 2400	ABC-DEF
双路8163	44	94.8	192G 6路 DDR4 2400	ABC-DEF
双路8163	40	98.1	192G 6路 DDR4 2400	ABC-DEF
双路8163	36	104.5（掐秒表105.0）	192G 6路 DDR4 2400	ABC-DEF
双路8163	32	113.5	192G 6路 DDR4 2400	ABC-DEF
双路8163	28	125.0	192G 6路 DDR4 2400	ABC-DEF
双路8163	24	140.8	192G 6路 DDR4 2400	ABC-DEF
双路8163	48	89.9	192G 6路 DDR4 2666	ABC-DEF
双路8163	44	93.4	192G 6路 DDR4 2666	ABC-DEF
双路8163	40	98.0	192G 6路 DDR4 2666	ABC-DEF
双路8163	36	103.9	192G 6路 DDR4 2666	ABC-DEF
双路8163	32	112.9	192G 6路 DDR4 2666	ABC-DEF
双路8163	28	124.9	192G 6路 DDR4 2666	ABC-DEF
双路8163	24	141.2	192G 6路 DDR4 2666	ABC-DEF

注，双路2696V3主板为intel 2600CW2 （intelC612芯片组），G16（B01）AVX2计算时内存都选择100G。计算参数使用默认设置。

pyscf

what is test0397?

Tanya

pyscf 发表于 2018-12-17 10:13
what is test0397?

test0397 是高斯自带的测试任务之一，常被用来测试对比服务器的速度。

dreamyeye

我最近刚刚入手一台silver 4114 *2（10C20T*2），发现在L101，L202，L301等等的时候，核间并行性很差，往往是单核在运算，测试了一个test0397，要4min多，感觉不正常，另外，您的8163在L101，L202，L301时候也会出现单核并行的状态吗？

Tanya

L101，L202，L301这类本来就是单线程的吧？特地试了一下，一瞬间就过去了，根本看不出啊。

dreamyeye

Tanya 发表于 2018-12-19 17:07
L101，L202，L301这类本来就是单线程的吧？特地试了一下，一瞬间就过去了，根本看不出啊。

我这个在这几个link上停留时间比较长，可能要有个几分钟的样子。

Tanya

不应该啊，我就是用4核的台式机，是也几乎看不到L101运行，一瞬间就过去了。你用的是什么版本的高斯？

dreamyeye

Tanya 发表于 2018-12-19 23:09
不应该啊，我就是用4核的台式机，是也几乎看不到L101运行，一瞬间就过去了。你用的是什么版本的高斯？

G16 B01  AVX2，我的详细情况在这里了（http://bbs.keinsci.com/thread-11691-1-1.html），您看看有没有什么？
我所做过的其他计算，除了2683V3的主机win版G09（G09W）会在L302卡住以外，其他的情况也都是秒过。

qchem

我也是感觉自己的GOLD的机器不够快，没注意内存的插法，过两天去看看

PS：方便的话，分享一下g16 b01嘛

exity

Tanya 发表于 2018-12-17 14:09
test0397 是高斯自带的测试任务之一，常被用来测试对比服务器的速度。

打扰了，请教师兄两个问题。
请问一下怎么调用test0397,还有任务完成的耗时看输出文件的哪个值？

alwens

测试建议用10分钟以上的作业，否则没意思啊

Tanya

exity 发表于 2018-12-28 17:16
打扰了，请教师兄两个问题。
请问一下怎么调用test0397,还有任务完成的耗时看输出文件的哪个值？

在高斯文件夹下有个tests文件夹，里面找到test0397，然后针对自己的服务器加上%nprocshared=？？，和%mem=？？GB，这两句，其他默认就行。正常提交作业。

输出文件倒数第三句， Elapsed time: 后面就是耗时。我掐过秒表，时间是准确的，应该比掐秒表准。

Tanya

alwens 发表于 2018-12-28 21:39
测试建议用10分钟以上的作业，否则没意思啊

很多人都用这个作业来测，横向对比方便，精确到0.1秒了，没必要十分钟，。

exity

Tanya 发表于 2018-12-29 23:47
在高斯文件夹下有个tests文件夹，里面找到test0397，然后针对自己的服务器加上%nprocshared=？？，和%mem ...

谢谢师兄，我看了一下以前我的out文件，里面没有Elapsed  time，是不是要在gif里额外添加什么关键词的？

dreamyeye

exity 发表于 2018-12-30 19:38
谢谢师兄，我看了一下以前我的out文件，里面没有Elapsed  time，是不是要在gif里额外添加什么关键词的？

g16才有，以前的版本没有。