请选择 进入手机版 | 继续访问电脑版

计算化学公社

 找回密码
 现在注册!
查看: 1195|回复: 22

[硬件评测] 双路platinum 8163+超微X11DAI-N 主板配不同内存计算速度对比

[复制链接]

53

帖子

1

威望

228

eV
积分
301

Level 3 能力者

发表于 2018-12-16 14:58:10 | 显示全部楼层 |阅读模式
本帖最后由 Tanya 于 2018-12-17 14:18 编辑

    年底集中用钱,联系了淘宝卖家配了一台双路platinum 8163服务器,因为时间仓促,没有仔细调研。按照经费预算卖家的推荐配置如下:


CPU 8163*2
主板 超微X11DAI-N
内存 三星DDR4 2400 16G*8=128G
硬盘 希捷2T
电源 长城1000W
    顺丰到货后拆开看了一下,发现卖家内存插法有点奇怪。超微X11DAI-N每个CPU两边各有4个内存插槽,编号是A1 B1 C1 C2-----D2 D1 E1 F1。卖家把内存插在A1 B1 C1----D1上了,CPU的一边是三根,另外一边是1根,处于不对称状态。与卖家联系后,回复说他们都是这样插的。
    卖家给装好了Win10 ,开机简单用CPU-Z测试了一下,确认CPU和内存型号无误,在Win10下烤了一夜,也很稳定,每个CPU的24核全开温度只有48度(室温20度)。
    然后装好CentOS 7.3和G16,测试了一下test0397,大跌眼镜。速度(耗时138.7秒)居然比我原来的双路2696V3(耗时130.4秒)还慢。上超微官网下载了X11DAI-N的说明书,发现卖家的内存插法是错误的。C621芯片组最多支持6路内存,这种插法应该只是开启了三路,重新按照 A1 B1 ---- D1 E1插上内存再算,速度比较正常了(耗时102.0秒),这下有数了。我的双路2696V3上的内存条也是DDR4 2400的规格,拆下4根把双路8163服务器的六路补齐了,再算test0397,提高到了90.4秒。为了对比内存位置和核数对G16计算速度的影响,索性从48到24核每隔4个测试了一下,测试结果见附表。
    从表中数据可见核数越多内存的位置对计算速度影响越大,也就是说内存带宽对高斯计算速度影响较大,随着核数的减少,不同内存位置的差异减小,到24核时4路和6路的差别已经减小到2秒,说明此时的速度瓶颈已经不是内存的带宽了。
    最后找卖家把8根三星DDR4 2400换成12根镁光DDR4 2666,贴了差价。拿到镁光后又测了一下,速度又有微小的提升(89.9秒)。
   从4路的102秒到6路的90秒,大约多加了10%的费用,但速度提升超过10%,费效比还是很高的。相同的核数8163的计算速度比2696V3有较大提升,说明新的至强81** 系列CPU的确有了很大进步。从对比可以看出如果经费有限的话,对于主要用于高斯计算的服务器,配齐6路十二根小内存比8根大内存更具费效比。


附表:

  CPU
  
  使用核数
  
  G16(B01)AVX2计算
  test0397时间(秒)
  
  内存
  
  插槽位置
  X11DAI-N
  
  双路2696 v3
  
  36
  
  130.4
  
  128G 4路 DDR4 2400
  
  
  
  双路2696 v3
  
  32
  
  140.3
  
  128G 4路DDR4 2400
  
  
  
  双路2696 v3
  
  28
  
  150.1
  
  128G 4路DDR4 2400
  
  
  
  双路2696 v3
  
  24
  
  167.7
  
  128G 4路DDR4 2400
  
  
  
  
  
  
  
  
  
  
  
  
  
  双路8163
  
  48
  
  138.7
  
  128G 3路DDR4 2400
  
  ABC-D
  
  双路8163
  
  36
  
  139.9
  
  128G 3路DDR4 2400
  
  ABC-D
  
  双路8163
  
  32
  
  139.3
  
  128G 3路DDR4 2400
  
  ABC-D
  
  双路8163
  
  28
  
  146.8
  
  128G 3路DDR4 2400
  
  ABC-D
  
  双路8163
  
  24
  
  157.6
  
  128G 3路DDR4 2400
  
  ABC-D
  
  
  
  
  
  
  
  
  
  
  
  双路8163
  
  48
  
  102.0
  
  128G 4路DDR4 2400
  
  AB-DE
  
  双路8163
  
  36
  
  108.6
  
  128G 4路DDR4 2400
  
  AB-DE
  
  双路8163
  
  32
  
  117.2
  
  128G 4路DDR4 2400
  
  AB-DE
  
  双路8163
  
  28
  
  127.7
  
  128G 4路DDR4 2400
  
  AB-DE
  
  双路8163
  
  24
  
  142.9
  
  128G 4路DDR4 2400
  
  AB-DE
  
  
  
  
  
  
  
  
  
  
  
  双路8163
  
  48
  
  90.4(掐秒表90.8)
  
  192G 6路 DDR4 2400
  
  ABC-DEF
  
  双路8163
  
  44
  
  94.8
  
  192G 6路 DDR4 2400
  
  ABC-DEF
  
  双路8163
  
  40
  
  98.1
  
  192G 6路 DDR4 2400
  
  ABC-DEF
  
  双路8163
  
  36
  
  104.5(掐秒表105.0)
  
  192G 6路 DDR4 2400
  
  ABC-DEF
  
  双路8163
  
  32
  
  113.5
  
  192G 6路 DDR4 2400
  
  ABC-DEF
  
  双路8163
  
  28
  
  125.0
  
  192G 6路 DDR4 2400
  
  ABC-DEF
  
  双路8163
  
  24
  
  140.8
  
  192G 6路 DDR4 2400
  
  ABC-DEF
  
  
  
  
  
  
  
  
  
  
  
  双路8163
  
  48
  
  89.9
  
  192G 6路 DDR4 2666
  
  ABC-DEF
  
  双路8163
  
  44
  
  93.4
  
  192G 6路 DDR4 2666
  
  ABC-DEF
  
  双路8163
  
  40
  
  98.0
  
  192G 6路 DDR4 2666
  
  ABC-DEF
  
  双路8163
  
  36
  
  103.9
  
  192G 6路 DDR4 2666
  
  ABC-DEF
  
  双路8163
  
  32
  
  112.9
  
  192G 6路 DDR4 2666
  
  ABC-DEF
  
  双路8163
  
  28
  
  124.9
  
  192G 6路 DDR4 2666
  
  ABC-DEF
  
  双路8163
  
  24
  
  141.2
  
  192G 6路 DDR4 2666
  
  ABC-DEF
  

注,双路2696V3主板为intel 2600CW2 (intelC612芯片组),G16(B01)AVX2计算时内存都选择100G。计算参数使用默认设置。

评分

参与人数 4威望 +1 eV +7 收起 理由
ggdh + 5 赞!
qchem + 1 很有帮助
asdf + 1 谢谢分享
sobereva + 1

查看全部评分

59

帖子

0

威望

189

eV
积分
248

Level 3 能力者

发表于 2018-12-17 10:13:14 | 显示全部楼层
what is test0397?

53

帖子

1

威望

228

eV
积分
301

Level 3 能力者

 楼主| 发表于 2018-12-17 14:09:35 | 显示全部楼层

test0397 是高斯自带的测试任务之一,常被用来测试对比服务器的速度。

224

帖子

0

威望

2226

eV
积分
2450

Level 5 (御坂)

发表于 2018-12-19 15:35:24 | 显示全部楼层
我最近刚刚入手一台silver 4114 *2(10C20T*2),发现在L101,L202,L301等等的时候,核间并行性很差,往往是单核在运算,测试了一个test0397,要4min多,感觉不正常,另外,您的8163在L101,L202,L301时候也会出现单核并行的状态吗?

53

帖子

1

威望

228

eV
积分
301

Level 3 能力者

 楼主| 发表于 2018-12-19 17:07:16 | 显示全部楼层
L101,L202,L301这类本来就是单线程的吧?特地试了一下,一瞬间就过去了,根本看不出啊。

224

帖子

0

威望

2226

eV
积分
2450

Level 5 (御坂)

发表于 2018-12-19 17:20:20 | 显示全部楼层
Tanya 发表于 2018-12-19 17:07
L101,L202,L301这类本来就是单线程的吧?特地试了一下,一瞬间就过去了,根本看不出啊。

我这个在这几个link上停留时间比较长,可能要有个几分钟的样子。

53

帖子

1

威望

228

eV
积分
301

Level 3 能力者

 楼主| 发表于 2018-12-19 23:09:59 | 显示全部楼层
不应该啊,我就是用4核的台式机,是也几乎看不到L101运行,一瞬间就过去了。你用的是什么版本的高斯?

224

帖子

0

威望

2226

eV
积分
2450

Level 5 (御坂)

发表于 2018-12-20 00:26:00 | 显示全部楼层
本帖最后由 dreamyeye 于 2018-12-20 00:30 编辑
Tanya 发表于 2018-12-19 23:09
不应该啊,我就是用4核的台式机,是也几乎看不到L101运行,一瞬间就过去了。你用的是什么版本的高斯?


G16 B01  AVX2,我的详细情况在这里了(http://bbs.keinsci.com/thread-11691-1-1.html),您看看有没有什么?
我所做过的其他计算,除了2683V3的主机win版G09(G09W)会在L302卡住以外,其他的情况也都是秒过。

77

帖子

0

威望

266

eV
积分
343

Level 3 能力者

发表于 2018-12-26 21:33:20 | 显示全部楼层
我也是感觉自己的GOLD的机器不够快,没注意内存的插法,过两天去看看

PS:方便的话,分享一下g16 b01嘛

46

帖子

0

威望

387

eV
积分
433

Level 3 能力者

发表于 2018-12-28 17:16:06 | 显示全部楼层
Tanya 发表于 2018-12-17 14:09
test0397 是高斯自带的测试任务之一,常被用来测试对比服务器的速度。

打扰了,请教师兄两个问题。
请问一下怎么调用test0397,还有任务完成的耗时看输出文件的哪个值?

67

帖子

0

威望

1065

eV
积分
1132

Level 4 (黑子)

发表于 2018-12-28 21:39:42 | 显示全部楼层
测试建议用10分钟以上的作业,否则没意思啊

53

帖子

1

威望

228

eV
积分
301

Level 3 能力者

 楼主| 发表于 2018-12-29 23:47:35 | 显示全部楼层
exity 发表于 2018-12-28 17:16
打扰了,请教师兄两个问题。
请问一下怎么调用test0397,还有任务完成的耗时看输出文件的哪个值?

在高斯文件夹下有个tests文件夹,里面找到test0397,然后针对自己的服务器加上%nprocshared=??,和%mem=??GB,这两句,其他默认就行。正常提交作业。

输出文件倒数第三句, Elapsed time: 后面就是耗时。我掐过秒表,时间是准确的,应该比掐秒表准。

53

帖子

1

威望

228

eV
积分
301

Level 3 能力者

 楼主| 发表于 2018-12-29 23:49:43 | 显示全部楼层
alwens 发表于 2018-12-28 21:39
测试建议用10分钟以上的作业,否则没意思啊

很多人都用这个作业来测,横向对比方便,精确到0.1秒了,没必要十分钟,。

46

帖子

0

威望

387

eV
积分
433

Level 3 能力者

发表于 2018-12-30 19:38:44 | 显示全部楼层
Tanya 发表于 2018-12-29 23:47
在高斯文件夹下有个tests文件夹,里面找到test0397,然后针对自己的服务器加上%nprocshared=??,和%mem ...

谢谢师兄,我看了一下以前我的out文件,里面没有Elapsed  time,是不是要在gif里额外添加什么关键词的?

224

帖子

0

威望

2226

eV
积分
2450

Level 5 (御坂)

发表于 2018-12-30 20:18:28 | 显示全部楼层
exity 发表于 2018-12-30 19:38
谢谢师兄,我看了一下以前我的out文件,里面没有Elapsed  time,是不是要在gif里额外添加什么关键词的?

g16才有,以前的版本没有。
您需要登录后才可以回帖 登录 | 现在注册!

本版积分规则

手机版|北京科音自然科学研究中心|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949-1号 )

GMT+8, 2019-3-25 10:24 , Processed in 0.171978 second(s), 25 queries .

快速回复 返回顶部 返回列表