计算化学公社

标题: 双路platinum 8163+超微X11DAI-N 主板配不同内存计算速度对比 [打印本页]
作者
Author: Tanya    时间: 2018-12-16 14:58
标题: 双路platinum 8163+超微X11DAI-N 主板配不同内存计算速度对比
本帖最后由 Tanya 于 2018-12-17 14:18 编辑

    年底集中用钱，联系了淘宝卖家配了一台双路platinum 8163服务器，因为时间仓促，没有仔细调研。按照经费预算卖家的推荐配置如下：


CPU 8163*2
主板 超微X11DAI-N
内存 三星DDR4 2400 16G*8=128G
硬盘 希捷2T
电源 长城1000W
    顺丰到货后拆开看了一下，发现卖家内存插法有点奇怪。超微X11DAI-N每个CPU两边各有4个内存插槽，编号是A1 B1 C1 C2-----D2 D1 E1 F1。卖家把内存插在A1 B1 C1----D1上了，CPU的一边是三根，另外一边是1根，处于不对称状态。与卖家联系后，回复说他们都是这样插的。
    卖家给装好了Win10 ，开机简单用ＣＰＵ－Ｚ测试了一下，确认ＣＰＵ和内存型号无误，在Win10下烤了一夜，也很稳定，每个CPU的24核全开温度只有48度（室温20度）。
    然后装好CentOS 7.3和G16，测试了一下test0397，大跌眼镜。速度（耗时138.7秒）居然比我原来的双路2696V3（耗时130.4秒）还慢。上超微官网下载了X11DAI-N的说明书，发现卖家的内存插法是错误的。C621芯片组最多支持6路内存，这种插法应该只是开启了三路，重新按照 A1 B1 ---- D1 E1插上内存再算，速度比较正常了（耗时102.0秒），这下有数了。我的双路2696V3上的内存条也是DDR4 2400的规格，拆下4根把双路8163服务器的六路补齐了，再算test0397，提高到了90.4秒。为了对比内存位置和核数对G16计算速度的影响，索性从48到24核每隔4个测试了一下，测试结果见附表。
    从表中数据可见核数越多内存的位置对计算速度影响越大，也就是说内存带宽对高斯计算速度影响较大，随着核数的减少，不同内存位置的差异减小，到24核时4路和6路的差别已经减小到2秒，说明此时的速度瓶颈已经不是内存的带宽了。
    最后找卖家把8根三星DDR4 2400换成12根镁光DDR4 2666，贴了差价。拿到镁光后又测了一下，速度又有微小的提升（89.9秒）。
   从4路的102秒到6路的90秒，大约多加了10%的费用，但速度提升超过10%，费效比还是很高的。相同的核数8163的计算速度比2696V3有较大提升，说明新的至强81** 系列CPU的确有了很大进步。从对比可以看出如果经费有限的话，对于主要用于高斯计算的服务器，配齐6路十二根小内存比8根大内存更具费效比。


附表：

  CPU
  		  使用核数
  		  G16(B01)AVX2计算
  test0397时间（秒）
  		  内存
  		  插槽位置
  X11DAI-N
  
  双路2696 v3
  		  36
  		  130.4
  		  128G 4路 DDR4 2400
  		  
  
  双路2696 v3
  		  32
  		  140.3
  		  128G 4路DDR4 2400
  		  
  
  双路2696 v3
  		  28
  		  150.1
  		  128G 4路DDR4 2400
  		  
  
  双路2696 v3
  		  24
  		  167.7
  		  128G 4路DDR4 2400
  		  
  
  
  		  
  		  
  		  
  		  
  
  双路8163
  		  48
  		  138.7
  		  128G 3路DDR4 2400
  		  ABC-D
  
  双路8163
  		  36
  		  139.9
  		  128G 3路DDR4 2400
  		  ABC-D
  
  双路8163
  		  32
  		  139.3
  		  128G 3路DDR4 2400
  		  ABC-D
  
  双路8163
  		  28
  		  146.8
  		  128G 3路DDR4 2400
  		  ABC-D
  
  双路8163
  		  24
  		  157.6
  		  128G 3路DDR4 2400
  		  ABC-D
  
  
  		  
  		  
  		  
  		  
  
  双路8163
  		  48
  		  102.0
  		  128G 4路DDR4 2400
  		  AB-DE
  
  双路8163
  		  36
  		  108.6
  		  128G 4路DDR4 2400
  		  AB-DE
  
  双路8163
  		  32
  		  117.2
  		  128G 4路DDR4 2400
  		  AB-DE
  
  双路8163
  		  28
  		  127.7
  		  128G 4路DDR4 2400
  		  AB-DE
  
  双路8163
  		  24
  		  142.9
  		  128G 4路DDR4 2400
  		  AB-DE
  
  
  		  
  		  
  		  
  		  
  
  双路8163
  		  48
  		  90.4（掐秒表90.8）
  		  192G 6路 DDR4 2400
  		  ABC-DEF
  
  双路8163
  		  44
  		  94.8
  		  192G 6路 DDR4 2400
  		  ABC-DEF
  
  双路8163
  		  40
  		  98.1
  		  192G 6路 DDR4 2400
  		  ABC-DEF
  
  双路8163
  		  36
  		  104.5（掐秒表105.0）
  		  192G 6路 DDR4 2400
  		  ABC-DEF
  
  双路8163
  		  32
  		  113.5
  		  192G 6路 DDR4 2400
  		  ABC-DEF
  
  双路8163
  		  28
  		  125.0
  		  192G 6路 DDR4 2400
  		  ABC-DEF
  
  双路8163
  		  24
  		  140.8
  		  192G 6路 DDR4 2400
  		  ABC-DEF
  
  
  		  
  		  
  		  
  		  
  
  双路8163
  		  48
  		  89.9
  		  192G 6路 DDR4 2666
  		  ABC-DEF
  
  双路8163
  		  44
  		  93.4
  		  192G 6路 DDR4 2666
  		  ABC-DEF
  
  双路8163
  		  40
  		  98.0
  		  192G 6路 DDR4 2666
  		  ABC-DEF
  
  双路8163
  		  36
  		  103.9
  		  192G 6路 DDR4 2666
  		  ABC-DEF
  
  双路8163
  		  32
  		  112.9
  		  192G 6路 DDR4 2666
  		  ABC-DEF
  
  双路8163
  		  28
  		  124.9
  		  192G 6路 DDR4 2666
  		  ABC-DEF
  
  双路8163
  		  24
  		  141.2
  		  192G 6路 DDR4 2666
  		  ABC-DEF
  

注，双路2696V3主板为intel 2600CW2 （intelC612芯片组），G16（B01）AVX2计算时内存都选择100G。计算参数使用默认设置。
作者
Author: pyscf    时间: 2018-12-17 10:13
what is test0397?
作者
Author: Tanya    时间: 2018-12-17 14:09
pyscf 发表于 2018-12-17 10:13
what is test0397?

test0397 是高斯自带的测试任务之一，常被用来测试对比服务器的速度。
作者
Author: dreamyeye    时间: 2018-12-19 15:35
我最近刚刚入手一台silver 4114 *2（10C20T*2），发现在L101，L202，L301等等的时候，核间并行性很差，往往是单核在运算，测试了一个test0397，要4min多，感觉不正常，另外，您的8163在L101，L202，L301时候也会出现单核并行的状态吗？
作者
Author: Tanya    时间: 2018-12-19 17:07
L101，L202，L301这类本来就是单线程的吧？特地试了一下，一瞬间就过去了，根本看不出啊。
作者
Author: dreamyeye    时间: 2018-12-19 17:20
Tanya 发表于 2018-12-19 17:07
L101，L202，L301这类本来就是单线程的吧？特地试了一下，一瞬间就过去了，根本看不出啊。

我这个在这几个link上停留时间比较长，可能要有个几分钟的样子。
作者
Author: Tanya    时间: 2018-12-19 23:09
不应该啊，我就是用4核的台式机，是也几乎看不到L101运行，一瞬间就过去了。你用的是什么版本的高斯？
作者
Author: dreamyeye    时间: 2018-12-20 00:26
本帖最后由 dreamyeye 于 2018-12-20 00:30 编辑
Tanya 发表于 2018-12-19 23:09
不应该啊，我就是用4核的台式机，是也几乎看不到L101运行，一瞬间就过去了。你用的是什么版本的高斯？


G16 B01  AVX2，我的详细情况在这里了（http://bbs.keinsci.com/thread-11691-1-1.html），您看看有没有什么？
我所做过的其他计算，除了2683V3的主机win版G09（G09W）会在L302卡住以外，其他的情况也都是秒过。
作者
Author: qchem    时间: 2018-12-26 21:33
我也是感觉自己的GOLD的机器不够快，没注意内存的插法，过两天去看看

PS：方便的话，分享一下g16 b01嘛
作者
Author: exity    时间: 2018-12-28 17:16
Tanya 发表于 2018-12-17 14:09
test0397 是高斯自带的测试任务之一，常被用来测试对比服务器的速度。

打扰了，请教师兄两个问题。
请问一下怎么调用test0397,还有任务完成的耗时看输出文件的哪个值？
作者
Author: alwens    时间: 2018-12-28 21:39
测试建议用10分钟以上的作业，否则没意思啊
作者
Author: Tanya    时间: 2018-12-29 23:47
exity 发表于 2018-12-28 17:16
打扰了，请教师兄两个问题。
请问一下怎么调用test0397,还有任务完成的耗时看输出文件的哪个值？

在高斯文件夹下有个tests文件夹，里面找到test0397，然后针对自己的服务器加上%nprocshared=？？，和%mem=？？GB，这两句，其他默认就行。正常提交作业。

输出文件倒数第三句， Elapsed time: 后面就是耗时。我掐过秒表，时间是准确的，应该比掐秒表准。
作者
Author: Tanya    时间: 2018-12-29 23:49
alwens 发表于 2018-12-28 21:39
测试建议用10分钟以上的作业，否则没意思啊

很多人都用这个作业来测，横向对比方便，精确到0.1秒了，没必要十分钟，。
作者
Author: exity    时间: 2018-12-30 19:38
Tanya 发表于 2018-12-29 23:47
在高斯文件夹下有个tests文件夹，里面找到test0397，然后针对自己的服务器加上%nprocshared=？？，和%mem ...

谢谢师兄，我看了一下以前我的out文件，里面没有Elapsed  time，是不是要在gif里额外添加什么关键词的？
作者
Author: dreamyeye    时间: 2018-12-30 20:18
exity 发表于 2018-12-30 19:38
谢谢师兄，我看了一下以前我的out文件，里面没有Elapsed  time，是不是要在gif里额外添加什么关键词的？

g16才有，以前的版本没有。
作者
Author: Tanya    时间: 2018-12-30 23:51
exity 发表于 2018-12-30 19:38
谢谢师兄，我看了一下以前我的out文件，里面没有Elapsed  time，是不是要在gif里额外添加什么关键词的？

G16里面没有，G09可以用用time命令获得运行时间，格式如下：
$ times g09 input.com &
作者
Author: exity    时间: 2018-12-31 09:26
dreamyeye 发表于 2018-12-30 20:18
g16才有，以前的版本没有。

明白了，谢谢师兄
作者
Author: exity    时间: 2018-12-31 09:27
Tanya 发表于 2018-12-30 23:51
G16里面没有，G09可以用用time命令获得运行时间，格式如下：
$ times g09 input.com &

明白了，谢谢师兄，这个命令是在交作业的时候用吧？
作者
Author: dreamyeye    时间: 2018-12-31 09:33
exity 发表于 2018-12-31 09:27
明白了，谢谢师兄，这个命令是在交作业的时候用吧？

G16在输出文件的结尾自动给出Elapsed time，不用输入其他命令。
作者
Author: exity    时间: 2018-12-31 10:09
dreamyeye 发表于 2018-12-31 09:33
G16在输出文件的结尾自动给出Elapsed time，不用输入其他命令。

我用的是09
作者
Author: Tanya    时间: 2018-12-31 10:58
exity 发表于 2018-12-31 09:27
明白了，谢谢师兄，这个命令是在交作业的时候用吧？

是的，提交作业的时候
作者
Author: zyn792102916    时间: 2019-1-21 09:53
您好，请问您的8163是可以直接用在X11DAI-N上，不需要刷微码改bios吗，之前我们准备买的时候店家推荐过8163，参数一样，价格便宜不少，但是说X11DAI-N不能直接支持，需要刷他们家的微码，所以我们直接买8173M了。
作者
Author: Tanya    时间: 2019-1-21 11:26
卖家直接给装好的，可能刷好了吧。
作者
Author: Tanya    时间: 2021-3-11 17:17
今天帮个同事在AMD 3900X上装了G16 B01 顺便测了一下test0397：
real    3m2.671s
user    36m15.347s
sys     0m1.295s

关闭了超线程，也就是12核。内存64G.

觉得用来算gaussian性价比挺高。

看了下计算时CPU频率，大概到4.2G以上。
作者
Author: Dwwen    时间: 2021-3-27 10:57
您好，请问一下，为什么我的2699v3双路在虚拟机中跑test0397得需要4分多，分配32、120GB
作者
Author: ghost    时间: 2021-3-30 10:42
2666和2933的内存，性能差距大吗？
作者
Author: sobereva    时间: 2021-4-4 04:56
ghost 发表于 2021-3-30 10:42
2666和2933的内存，性能差距大吗？

不
作者
Author: 乐平    时间: 2021-4-4 22:05
弱弱地问一下，我看到 超微X11DAI-N 主板上有 16 个内存插槽，为什么只插了 12 根内存条呢？
作者
Author: ghost    时间: 2021-4-5 06:48
乐平 发表于 2021-4-4 22:05
弱弱地问一下，我看到 超微X11DAI-N 主板上有 16 个内存插槽，为什么只插了 12 根内存条呢？

8173m的cpu吗？单颗8173m的内存通道数是6条，插12条内存是为了更大程度发挥内存的带宽
作者
Author: 乐平    时间: 2021-4-5 23:03
ghost 发表于 2021-4-5 00:48
8173m的cpu吗？单颗8173m的内存通道数是6条，插12条内存是为了更大程度发挥内存的带宽

谢谢回复。那是不是插满 16 条内存浪费了呢？
作者
Author: snaily    时间: 2021-6-17 20:38
请问为什么这个主板支持16根内存条，却只有6通道？还剩下四根内存插槽对计算影响大吗？ 做vasp计算
作者
Author: sobereva    时间: 2021-7-1 06:40
snaily 发表于 2021-6-17 20:38
请问为什么这个主板支持16根内存条，却只有6通道？还剩下四根内存插槽对计算影响大吗？ 做vasp计算

内存通道数取决于CPU里的内存控制器，跟主板有多少槽是两码事
作者
Author: snaily    时间: 2021-7-5 19:16
sobereva 发表于 2021-7-1 06:40
内存通道数取决于CPU里的内存控制器，跟主板有多少槽是两码事

老师，请问是否需要插满16根内存条呢？目前是12根
作者
Author: sobereva    时间: 2021-7-6 07:52
snaily 发表于 2021-7-5 19:16
老师，请问是否需要插满16根内存条呢？目前是12根

不需要
作者
Author: 404039756    时间: 2021-10-22 20:37
看着我有点懵，3647主板上16个内存插槽，其中有4个应该是共享通道。安装2个CPU，每个是6通道，插满12根内存的话，通道数会叠加吗？如果还是6通道，那我插6根内存和12根内存有啥区别啊？还有我看论坛里有的说应该插8根内存，不知道咋理解。。
作者
Author: Tanya    时间: 2021-10-26 16:41
404039756 发表于 2021-10-22 20:37
看着我有点懵，3647主板上16个内存插槽，其中有4个应该是共享通道。安装2个CPU，每个是6通道，插满12根内存 ...

每个CPU是六通道，双路当然是12通道啦。虽然没试过，但我估计六根内存条只插在一边的话，没插内存条的U估计无法工作。
最新的4189针白金8300系列的是8通道，要插16根才快。
作者
Author: Zhuoran    时间: 2021-11-6 20:14
本帖最后由 Zhuoran 于 2021-11-7 10:11 编辑

我查了一下X11-DAi-N的主板Manual，看到这样一个内存配置。请问这个如何理解呢？对于某一个CPU，是不是应当按照A1-B1-C1-D1-E1-F1-A2-D2的顺序安装内存呢？而不是应当出现ABEF的状态？
作者
Author: Qilin    时间: 2024-10-11 08:43
Tanya 发表于 2021-10-26 16:41
每个CPU是六通道，双路当然是12通道啦。虽然没试过，但我估计六根内存条只插在一边的话，没插内存条的U估 ...

哈哈，好玩儿



欢迎光临 计算化学公社 (http://bbs.keinsci.com/) Powered by Discuz! X3.3