【作业帖】双路2686v4+1080Ti计算节点的装机和简单评测

tomwong4253

经过大半年的折腾，终于得到领导的支持，hao到了一点点经费来装自己的计算节点。折腾了大半个月，现在基本的功能都已经配好了，发一篇装机测试帖给各位准备装机的老师同学参考。

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1. 硬件选择和购买
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

首先确认预算：经过一番折腾，最终和领导敲定含税不超过40000。
然后确认一下我自己的需求：主要用gromacs和amber做蛋白质的MD模拟，次要用途是用Gaussian做药物小分子的化学性质和反应过程的QM计算，可能还需要进行药物虚拟筛选的计算工作，以及转录组分析等生物信息学的计算。

这些需求对计算机的性能要求的方面不一样，加上预算的限制，最终我敲定了以下配置单：
==================================
【CPU】Intel Xeon E5 2686 v4 正式版，两颗。【散热】酷冷至尊T400i，两个。
【主板】华硕 Z10-PA D8 双路服务器主板。
【内存】海力士（原名现代）DDR4 2133MHz 8G 服务器内存，八条。
【GPU】耕升1080Ti 11G 显卡
【固态】三星 860 EVO 250G
【机械】希捷4T 企业级硬盘
【机箱】先马坦克机箱
【电源】台达850W
【显示器】现代 23.5寸
===================================
【含增值税总价】：38980元
===================================
关于选用以上配置的一点说明：


1. 社长的有关2696v3的帖子发布距离现在已经有很长一段时间了，2696v3的价格从最开始的4750元已经涨到8000+元还不含增值税，含增值税后可能会破万元，甚至有商家开价含税13000+的天价。虽然2696v3在极致性价比上仍然是比较高的，但是由于绝对价格的高昂，买家不断减少，也使得不少供货商对这个CPU没有备货，非北上广地区购买起来会比较麻烦。笔者这几个月一直在跟踪CPU的售价，如果要追求极致性能并且没有太大预算问题的，仍然可以考虑2696v3，如果预算有略微不足的，可以考虑2686v4，核数相同，主频一样，只是睿频有明显下降（单核和全核睿频均是），因此如果顶到预算天花板可以考虑2686v4，不过即使是2686v4目前含税价也要8000左右一块，各位斟酌一下自己的预算和性能需求来购买。如果预算还是不够，可以考虑CPU降到2678v3，12核心的那款，目前含税可能不到4000一块。但是性能肯定是有明显下降的。


2. 有关选用v2系列CPU作为计算平台的问题，在这里统一说明一下。v2系列的CPU比如2680v2比起v3 v4系列的CPU便宜的多，而v3 v4系列CPU相较v2主要的优势就在于拥有AVX2指令集，对于比如gmx这样的CPU+GPU混合计算的软件是有不小提升的。而如果v2平台仅用于Gaussian计算例如G09版本，也是性价比很不错的选择.因为G09版本目前国内只有SSE指令集版本和AVX指令集版本，在没有特殊渠道的情况下，是找不到源码或者AVX2指令集这种预编译版本的，因此v3系列CPU在指令集上并没有优势。v2系列还有一个价格优势点是配套内存的售价，因为v2系列搭配的是DDR3代的内存，整体比目前仍然居于高位的DDR4内存便宜不少，需要大内存的情况下有明显价格优势。记得Sob社长的帖子也有测试，内存速度并不构成计算的瓶颈。因此当做Gaussian计算时实在挤不出预算的话，可以考虑v2系列的平台搭配DDR3代内存。v2系列的劣势主要在于现在所有硬件都是停产状态（X79华南寨板除外，但那个是单路板子），各位买到的都是存货或者二手货，老旧主板这种东西如果有暗病之类的会很麻烦。并且在用公款购买的时候增值税发票这方面也是个不小的问题。


3. GPU的选择问题。截至发帖时老黄家的11代新GPU还没见到，要不要等新GPU请自行斟酌。市面上已有的GPU中。对于不差钱的土豪，建议购入Tesla系列的V100或者P100这样的GPU，很贵但是很稳，即使关掉ECC显存也很稳。而对于一般的刚工作的青椒或者手头基金不宽裕的老师可以考虑使用游戏卡，例如耕升的1080Ti或者1080（声明耕升没给我任何广告费），测试表明耕升显卡功耗稍微高一些而性能相对其它品牌来说稍微强一些，推荐选用。如果预算很有限，但仍需要GPU，请各位起码购入1065（1060 5G，不过目前好像不好弄到了）或者1063（1060，3G），不建议选用1050系的，显存太小而且性能实在是。。。emmmmm。


4. 公社里有朋友写过一个帖子，就是双路CPU一定要弄八条内存，这样才能开启每个CPU的内存四通道，不然性能将会有明显损失，请各位注意。


---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
2. 硬件安装和基本性能测试
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
首先是先找个合适的屋子，建议各位如果实在没地方放，找学校/研究所的网络中心的机房放那也行。我们这边刚好冷冻切片机搬走了，先把这家伙放到冷冻切片机那屋，以后再说。屋子里如果没有空调，至少也得有个通风的地方，不然夏天温度上的很快。不仅危险而且对硬件寿命也是个损伤。


接下来就是一阵拆拆拆and装装装。。。


可以看到，华硕这款双路服务器板子的两个CPU确实太近了，装水冷更好。装酷冷这种大体积的风扇确实有点挤，不过好在能装，再宽一点点的风扇恐怕就装不进去了。
而且还有个问题，两个风扇的风道是前后串联的，CPU2会一直吸CPU1排出来的热风，使得CPU2的烤机温度比CPU1多近10度，如果是超微的板子，弄个高一点的散热器不要吹内存，CPU1和CPU2可以弄成平行竖直的排风，这样对CPU散热会比较好。不过东西买都买来了，凑合着用吧。





装好以后点亮进BIOS，忘记拍照了，可以看到64G内存已经全部认出。Good。
随便装了个Windows10进行性能测试，首先装个娱乐大师看看硬件基本信息：


其次还有CPU-Z和GPU-Z对CPU和GPU信息的精确确认。


          


OK，硬件信息没问题。接下来就是全套测试，首先单烤FPU半小时：



温度基本在50度左右，酷冷这个大家伙的散热确实不错，手放在机箱出风口感觉到跟放在火的旁边一样。
顺便说一下为了散热，我在机箱正面面板后面加了两个12cm的大风扇对着吹。过几天准备在机箱上面装冷排的地方也搞两个风扇，这样能吸走一部分CPU1的热量～～～

死亡甜甜圈烤GPU烤了10分钟（心疼我的1080Ti，没烤太久），满载温度维持在79度左右。




SSD速度测试结果。emmmmmm，果然便宜没好货，860EVO这个速度有点感人，早知道就咬咬牙买960了。




最后来一发CineBench渲染测试，这速度确实吓人，3804分。。。。。



---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
3. 计算软件简单测试
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

基本性能测试结束，Windows10完成了他的使命，接下来改装Linux。
我装的是CentOS7，这个版本比起之前用的CentOS6安装和配置简直痛苦无比，不过确实学到不少东西。
磁盘我是自己分的区，基本原则是把除了home之外的分区全部挂载在固态上。分区大小这一块我没啥经验，就XJB分吧：
/boot给了5G，/var给了28G，/给了196G，剩下的是/swap，/home是机械硬盘的全部空间。
大体就是这样。


Gaussian09，AMBER18，Gromacs2018。。。。目前用得到的软件各种hao来，装起：





这里提几个小事情：
1. Gromacs201X版的默认使用cmake安装，cmake是一个集成的编译工具，可以调用gnu或intel的C和C++编译器。但是CentOS7目前好多yum源里边的cmake版本居然才2.8，会被gmx各种嫌弃，会拒绝安装。所以用cmake最好到官网上自己搞个包自己安装一下。


2. AMBER核心的pmemd部分有不少fortran代码，据社长等大佬测试，使用Intel编译器编译比使用gnu里的gfortran编译出来的pmemd模拟速度要快。但是AMBER18目前不支持最新的Intel Compiler 2018版本（居然嫌弃人家版本高），请需要用这个编译器的用2017或者2016。

3. GPU加速程序大多数是基于老黄的CUDA架构的，但是安装CUDA会自作主张地给你安装显卡驱动，请各位务必跳过，只装CUDA-Toolkit就够了。最新的显卡驱动在计算上有时候有优化的。


装好，开测。
Gaussian09还是用的test397，忘记截图了。默认关键词，最终时间90s～～～（快了5秒哦，嘿嘿）


Gromacs看官网上说好像test有问题，我找了个我自己做过的体系，用4核+GT1030一天只能跑5ns，而用现在这台怪物：




OMG。。。整整十倍。

AMBER有自己的benchmark，我挑选了一个最小的，跑了一下，跟官网1080Ti的速度完全一致：




---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
4. 总结
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
好像没啥好总结的

lonemen

厉害啦，终于等到评测了！辛苦辛苦！
另外，看起来你的显卡的空间没多少，想知道跑长时间MD时的温度怎么样？

luwis

恭喜!
自己家里用?咱们还有厨房?还是实验室自备水槽?

dreamyeye

内存是8*8G？

tomwong4253

luwis 发表于 2018-6-15 21:39
恭喜!
自己家里用?咱们还有厨房?还是实验室自备水槽?

实验室~~~~

tomwong4253

dreamyeye 发表于 2018-6-15 22:33
内存是8*8G？

对，预算限制没配128G，只配了64G，而且128G目前也没啥必要。
但内存一定要配够八条，这样CPU才都能开四通道。

一颗赛艇

让领导出钱给你打游戏……计画通り！

每回看见阿速死就忍不住想XX，有超微为啥不上超微，又差不了多少钱

zorow

厉害了楼主，不过最近似乎2696很难买到啊

xylz6188

学校不让买组装机，只能买品牌机，差不多的配置，花了我8万大洋

tomwong4253

一颗赛艇 发表于 2018-6-16 03:45
让领导出钱给你打游戏……计画通り！

每回看见阿速死就忍不住想XX，有超微为啥不上超微，又差不了 ...

其实超微比阿苏斯还便宜 ，而且CPU布局还好。
emmmmm，主要是经销商那边有返利，一并买的其他设备可以更便宜

tomwong4253

zorow 发表于 2018-6-16 08:04
厉害了楼主，不过最近似乎2696很难买到啊

所以我买的是2686v4，核数和主频跟2696v3一样，比2696便宜一截，不过睿频低。

tomwong4253

xylz6188 发表于 2018-6-16 08:32
学校不让买组装机，只能买品牌机，差不多的配置，花了我8万大洋

steven

是把散件买回来自己动手装好的吗？
CPU是全新的？

hakuna

CPU这物件做计算用的话，三级缓存大小影响好像还是很明显的

tomwong4253

steven 发表于 2018-6-16 13:41
是把散件买回来自己动手装好的吗？
CPU是全新的？

CPU不是全新的，全新的就得一万好几千了，而且全新没必要。挑的成色好的测试没毛病就行。
好久没装机了手痒，这台是找本地经销商拿的货自己装的。