CPU调用情况似乎有异常——Intel Scalable Silver 4114 初测——现已真相大白

dreamyeye

新入手一台Intel Scalable Silver 4114*2（10C20T， 2.2GHz），其余配置是镁光DDR4 2666MHz（由于CPU不支持这么高，实际运行是2400MHz）16G*4, 4T企业级机械硬盘 系统为CentOS 7.5
虽然配置属于比较低端的，但是也是Scalable系列首次尝试，入手后，抓紧评测

首先想到的例子就是经典的test0397，20核开动起来，算呀！结果发现在L101，L202，L301这些以前都是秒过的link，居然都要停很长一段时间，感觉有所不正常，于是想比较一番，手头也有同是2.2GHz的上一代旗舰产品E5 2699V4（22C44T，2.2Ghz）(系统是CentOS 7.4)，于是乎，也算了一个，结果见帖子的最后的图和log文件，调用资源都为：%nproc=20，%mem=50gb

比较一番，发现：
1.Silver 4114在一些应该秒过的link（101,202,301等等）都停留时间巨长，大约都是30s左右，实际观察一下，在经过这些link的时候CPU占用率都是100%，也就是调用单核，只有L502和L703时，CPU占用 率才达到1900%-2000%之间，这应该也是其实际用时（10 min 54 s）和Elapsed time（3 min 53.2 s）差别巨大的原因吧，因此我怀疑这个CPU的调用有问题

2.E5 2699V4的实际用时（3 min 27 s）和 Elapsed time（3 min 25.2 s）差不多，也就是说，在整个计算期间，所有的核都是基本被全部调用的，实际上，计算的时候，CPU占用率一直是1900%-2000%

3.计算的时候的CPU频率，虽然二者的基频都是2.2GHz，但是E5 2699V4在计算时候，有睿频加成，实际的频率大概在2.6-2.8GHz左右，而Silver 4114只有极个别的Link（L502，L703，经其他测试，L1002也可以）频率能够接近2.2GHz，其余的Link，除了一个核之外，其他的都停留在最低的0.8GHz，这与查到的也不相符（10 Core Normal 2.5GHz， AVX2 2.2GHz，参考文献：https://en.wikichip.org/wiki/intel/xeon_silver/4114，这里也发现，E5-2699V4对不同的指令集，睿频机制没有差别，10Core都是是2.8GHz，参考文献：https://en.wikichip.org/wiki/intel/xeon_e5/e5-2699_v4），因此二者虽然基频相同，但是实际运行的频率是不同的，因此Elapsed time还是有差别的（Silver 4114  3 min 53.2 s   vs  E5 2699V4  3 min 25.2 s ）

总的来说，这个结果让我很疑惑，Intel Scalable Silver 4114即使不更好，也不应该更差呀，特别是在实际计算当中的CPU并行调用情况，让我不解，不知各位大神有没有什么建议和评论。
这些天来，又经过多方排查，最终发现，可能是现在安装的系统CentOS 7.5的问题（具体是什么原因还未知），换了CentOS7.3，立马正常了。。。也就是说，CentOS7.5对于intel XEON Scalable系列有可能兼容性不好？不知道有没有其他的类似的情况，既然整好了，就放一波评测结果

Gaussian版本G16 B01, test0397.com

Silver 4114（4*16G内存） %nproc=20 %mem=50GB ：3 min 47 s
E5-2699V4（4*32G内存） %nproc=20 %mem=50GB ：3 min 27 s
E5-2699V4 （4*32G内存）%nproc=44 %mem=100GB：2 min 55 s
E5-2687WV4（4*32G内存） %nproc=20 %mem=50GB ：3 min 20 s
E5-2687WV4（4*32G内存） %nproc=24 %mem=50GB ：3 min 7s
E5-2687WV4（4*32G内存） %nproc=24 %mem=100GB ：3 min 14s
E5-2667V4（4*16G内存） %nproc=16 %mem=50GB ：3 min 44 s

发现Silver 4114和E5V4的一些中高端的CPU相比，似乎不弱了，不过手中的E5V4都是没有插满8条的，可能发挥会有折扣吧，总感觉手头的这些E5V4没有充分发挥性能。

Tanya

肯定有点问题了，你用了什么主板？
另外，你只装了4根内存，每个CPU两根？根据我的测试，内存带宽还是会有影响的。不过也不会差到这个程度。

Elapsed time和实际用时差这么多？感觉是硬件有问题了。

你关掉超线程了么？

另外，你在BIOS里面选择Default optimization试试（如果有这项的话）

dreamyeye

Tanya 发表于 2018-12-20 08:11
肯定有点问题了，你用了什么主板？
另外，你只装了4根内存，每个CPU两根？根据我的测试，内存带宽还是会有 ...

超线程是打开的，内存是4*16，每个CPU2条

一颗赛艇

内存有瓶颈也不至于这样，NUMA开了吗，CPU是不是ES，系统节能怎么设置的

你系统怎么配置的基本什么也没说

dreamyeye

一颗赛艇 发表于 2018-12-20 10:34
内存有瓶颈也不至于这样，NUMA开了吗，CPU是不是ES，系统节能怎么设置的

你系统怎么配置的基本什么也没 ...

您说的这些配置我都没有设置过，目前也不清楚在哪里查看，是否可以给一点提示？CPU不是ES版。

Tanya

dreamyeye 发表于 2018-12-20 12:35
您说的这些配置我都没有设置过，目前也不清楚在哪里查看，是否可以给一点提示？CPU不是ES版。

在BIOS 内设置，大部分主板都是在开机的时候有提示如何进入BIOS, 以按del键或者F1键进入的居多。进去看看吧，不会弄的话就选Default Optimization，或者Default也行，最好关掉超线程。

jessenju

是不是还是由于4114性能差啊，我看天梯图上4114排名比2699 V4差100多，跑分差几乎一半

dreamyeye

jessenju 发表于 2018-12-21 09:44
是不是还是由于4114性能差啊，我看天梯图上4114排名比2699 V4差100多，跑分差几乎一半

天梯上的2699V4评测应该是在22核（满核）下测的，我这个都是在核数相同的情况下比较的

jessenju

dreamyeye 发表于 2018-12-21 11:16
天梯上的2699V4评测应该是在22核（满核）下测的，我这个都是在核数相同的情况下比较的

原来是这样，明白了

qchem

你这个银牌怎么和2699V4比呀，金牌都比不过的

dreamyeye

qchem 发表于 2018-12-23 20:10
你这个银牌怎么和2699V4比呀，金牌都比不过的

是在同核心数的情况下比的，比如银牌4114有20个核，而2699也用20个核，用来比较是因为两款CPU的基频相同，都是2.2GHz。手头也有比2699V4低的CPU，但是基频都更高，等我也比较一下，把结果放上来。

asdf

双路6161测出来1m52.130s

dreamyeye

asdf 发表于 2018-12-24 17:25
双路6161测出来1m52.130s

6161是多少核啊？实际计算的时候调用了多少核核内存？

asdf

dreamyeye 发表于 2018-12-24 19:41
6161是多少核啊？实际计算的时候调用了多少核核内存？

22核，我没注意呢，明天再测看一下。

qchem

dreamyeye 发表于 2018-12-23 20:39
是在同核心数的情况下比的，比如银牌4114有20个核，而2699也用20个核，用来比较是因为两款CPU的基频相同 ...

赛扬时代就比较过，同样的主频，赛扬是没有奔腾快的。L2 cache起作用的
现在Intel各种牌之间肯定是有不小差异的