高斯软件并行效率实测与购机建议，还有一些胡言乱语

yjcmwgk

郑重声明：本总结是基于楼主本人的知识以及真实测试结果而做的。本人与intel的关系仅限于“买了一些intel的cpu并长期使用它们”。本人与Gaussian的关系仅限于“买了高斯的版权并长期使用它”。我不是intel或Gaussian的托！

这篇胡言乱语主要包含以下内容：
（一）高斯的多核心并行效率真不咋地
（二）虽然少核心高主频的CPU确实很贵，但是它们就是偏偏适合高斯计算
（三）买电脑，砍价一定要腰斩
（四）能自己攒的机器，就要自己攒！不要买品牌机

好了，开始！

（一）高斯的并行效率

测试机器：两片E5-2680v2处理器，64G内存，普通SAS硬盘，整个机器是按照DDRIII-1600配起来的，关掉超线程后，共20个计算核心。
系统为Centos 6.4 X64。软件为Gaussian 09 D.01 ES64L

测试题：
一个已经用cam-b3lyp优化好的200多个原子的体系，有氢氧硫碳氮碘锌。基组为6-31G(d)和LanL2DZ混用。现在拿着这个构型在同等水平下，进行单点能计算，很幸运的，每次测试的SCF cycle都是13次。

测试结果：

图1 高斯实测并行效率

当使用12核心并行的时候，总CPU时间为33分36秒，平均每核心运行时间2分48秒
当使用20核心并行的时候，总CPU时间为43分32秒，平均每核心运行时间2分11秒

我们绘制图1，得到以下结论
（1）高斯的2核并行效率很好，4核并行效率也说得过去，8核并行效率就有些难看了。再往上加核心数，并行效率惨不忍睹。
（2）8核心并行，任务运行205秒后结束。而16核心并行，任务运行144秒后结束。多加了一倍的核心数，计算时间仅仅减少了三成儿。
（3）6核心并行，任务运行285秒后结束。而16核心并行，任务运行144秒后结束。为了减少一半的计算时间，我们付出了2.6倍的CPU核心数。
（4）2核并行效率高达95%，12核心并行效率已经降至51%，而20核并行效率更是低达38%。

总结论：高斯的并行效率真心不咋地！超过8核心并行的话，意义已经不大了。我建议极限最多并行核心数不要超过12。

（二）虽然少核心高主频的CPU确实很贵，但是它们就是偏偏适合高斯计算

少核心高主频的CPU确实很贵，我们用理论计算常用的E5-2600v2系列来对比一下，一个是大众化的多核心正常主频的E5-2650v2，一个是小众化的少核心高主频的E5-2643v2，一个是很少有人知道的少核心高主频的E5-2637v2：
（1）E5-2650v2，每颗CPU为八核心，20M缓存，处理器基本频率为2.6GHz，最大睿频3.4GHz，这样总基本频率为20.8GHz，总睿频可达到27.2GHz，热设计功耗功率也仅仅只有95W，每颗CPU出厂价为1171美元
（2）E5-2643v2，每颗CPU为六核心，25M缓存，处理器基本频率为为3.5GHz，最大睿频3.8GHz，这样总基本频率为21.0GHz，但是总睿频仅仅达到22.8GHz，热设计功耗居然高达130W，每颗CPU出厂价也达到了瞠目结舌的1552美元
（3）E5-2637v2，每颗CPU为四核心，15M缓存，处理器基本频率为为3.5GHz，最大睿频3.8GHz，这样总基本频率为14.0GHz，但是总睿频仅仅达到15.2GHz，热设计功耗也是高达130W，每颗CPU出厂价也竟然也达到了996美元
考虑到高斯糟糕的并行效率，我宁可选择2号或3号，而不选择1号。换句话说，高斯糟糕的并行效率逼迫我做出了很浪费钱的一个决定。同时，考虑到高斯糟糕的并行效率，我觉得双路主板对咱们来说真是够了！

（三）买电脑，砍价一定要腰斩

我便抱着自己的测试结果去买电脑，想买以下电脑配置。
一个2U的四子星，内含4个节点，每个节点内有2颗E5-2643v2的CPU，8条8G的ECC内存，千兆网卡，预留infiniband接口（只是预留而已，为了以后方便，现在用不着）。四个节点公用一个电源模块，公用一个冗余电源模块。四个节点公用一个硬盘盒，盒内有4块1T的sas硬盘。
这货就长这样：

图2 四子星（2U）结构

我先联系曙光，曙光报价18万，我让他们滚一边儿去！
然后联系华硕，华硕报价16万多不到17万，我没说啥，心中默默给他们画了个叉。
然后联系越海扬波，越海杨波报价12万。我心动了！
我早就给他们合算了成本了，如果我按照市场价自己买散件自己攒机，那么总价格为12万7千多。考虑到各大服务器公司都有自己的进货渠道，这台机器让他们攒，纯硬件成本绝对不多于10万零5千。
曙光报价18万，我虽不齿，却也理解。曙光公司有很高大的金字塔架构。底层一千个销售员，要养活上中层八百个坐办公室的！一套设备，他们没赚到足够的钱就相当于赔本了。
而我需要的就是一个攒机商。我只需要硬件质保。从系统到软件，我完全不需要对方服务。
最后我还是没要越海扬波的机器，我要了另一家更小的公司的机器。价格仅有11万稍出头而已，我估计对方从这单生意中赚走我的钱不超过6000块。但是我这儿不能公布那家公司的名字，因为我不是他们的托。嘿嘿

（四）能自己攒的机器，就要自己攒！不要买品牌机

我实际上已经花掉了20多万，为自己和三位研究生买了两台四子星，也就是8个双路节点了。再加上我师兄出国前留给我8个老的双路节点，嗯，机器一时间富裕起来，我便开始动了花花肠子，看着自己的办公用的主机箱越来越不顺眼。而且我的主机箱里边儿，现在已经是老牛破车哐当当了。究其原因，全是因为我用它用的太狠。这台主机，内有俩系统。三年来，它白天开着win给我当办公电脑，晚上临走我就换到linux下给它挂个小任务让它算着，第二天早上我来收庄稼。现在这台主机箱那是动辄死机啊。我就想换掉它。
老规矩，攒机！
既然主要用途是白天开win给我办公用，夜里开linux为我算小任务，那么，就限制在LGA1150接口的CPU好了，不必追求LGA2011接口既然白天要开win，那么一定要用的爽，不爽不就白瞎了么。慎重思考后，如下：

• 华硕（ASUS）B85M-E 主板(Intel B85/LGA 1150)
• 英特尔（Intel）酷睿四核i7-4770k Haswell全新架构盒装CPU（LGA1150/3.5GHz/8M三级缓存/84W/22纳米）
• （主板和CPU套装价格为2608元）
• 华硕（ASUS） R9270X-DC2T-4GD5 1120MHz/5600MHz 4GB/256bit DDR5 PCI-E 3.0 显卡 1499元
• 金士顿(Kingston)骇客神条 Fury系列 DDR3 1600 16GB(8GBx2条)台式机内存(HX316C10FK2/16)蓝色 1099元
• 两块金士顿(Kingston)V300 240GB SATA3 固态硬盘 699元*2
• 西部数据(WD)绿盘 2TB SATA6Gb/s 64M 台式机硬盘(WD20EZRX) 529元
• 酷冷至尊(CoolerMaster)V650S额定650W电源(80PLUS金牌/半模组/静音/主动式PFC/支持背线/质保5年) 649元
• 酷冷至尊(CoolerMaster)毁灭者经典U3升级版 游戏机箱(ATX/USB3.0/背走线/电源下置/支持SSD/LED风扇)黑色 199元
• 三星（SAMSUNG） SH-224DB 24速 串口 DVD刻录机 （黑色）106元
• 总额8087元
  

说干就干了，买来硬件，插了机器，然后在两个固态硬盘上，分别装win7系统和ubuntu14.10系统，机械硬盘给我分成两个1T的分区，分别搞成ntfs格式给win7，和ext4格式给ubuntu用。
说实话这台机器都快顶上一台小服务器了啊……把超线程一关，4x3.5GHz的CPU，16G的内存，2T的机械硬盘……我师兄早年买的服务器也不过如此！这儿插一句：如果把上述配置中的显卡省略掉，那么，还剩下不到6600块钱的配置。把这六千多块钱的硬件一攒，你就已经获得了一台Linux操作系统及计算化学软件与编程的学习用机了（玩票用）
这货就长这样：

图3 酷冷至尊毁灭者经典U3升级版游戏机箱

童鞋，跑个分儿呗？
处理器和内存都接近满分，硬盘和显卡直接就是满分，嗯，玩模拟城市，终于可以把特效全开了！
实际上这个机器的配置已经远远超过了win7测评的范围了。它之所以给出满分纯粹是因为没有更高分可给了。

八千块啊，如果买品牌机，我敢保证顶多达到我这个机器一半的配置就算销售商有良心了。所以，即使在今天，攒机也是王道！

ChaosChiao

关键是很多科研部门不能自己攒机，必须要走央采。

lao7

楼主帮我看看这个配置，运行gaussian浪费不？
CPU:E5-2667 V3 3.2G 8核16线程 *9000  
散热器：采融B68 Basic 68 8热管纯铜镀镍  199×2
主板：超微X10DRL-I 带集显 C610芯片组X99 2499×1
内存：三星 DDR4 2133 16G单根*5200
硬盘：英睿达(Crucial)MX100系列 512G CT512MX100SSD1  1569元
电源： 昂达服务器电源 650W                         500元
机箱：安钛克（Antec） GX900 229
配下来将近2万元

还有，按照楼主的思路，是不是CPU 换成E5 2643 v3  3.4主频的  双路12核心 是不是效率更高？

wgbigfatcat

怎么不用i7-4770k 开测一下同样的gaussian？

lao7

wgbigfatcat 发表于 2015-1-6 14:33
怎么不用i7-4770k 开测一下同样的gaussian？

担心体系大了跑不动哈，240个原子，加上频率计算，跑到猴年马月，估计内存都要升级。

      楼主认为：E5-2667 v3  3.2G 8核心    E5 2643 v3  3.4G  6核心  如果都双路的情况下，计算大100-250个原子原有的分子，哪个更快些？给个意见，正好现在在配机器。自己动手！采购太黑

wgbigfatcat

E5-2680 v3 个人认为这个性价比高。前提是不一定全跑gaussian

yjcmwgk

lao7 发表于 2015-1-6 14:31
楼主帮我看看这个配置，运行gaussian浪费不？
CPU:E5-2667 V3 3.2G 8核16线程 *9000  
散热器：采融B68 B ...

倒是真说不上浪费，比玩票强一些，比正经干活儿却又弱一些，算是高级票友吧，算着玩玩儿罢了。
但是，你只买一颗E5-2667？你们家的CPU会哭着喊着要媳妇儿！再说，这张主板也是双人床哈！
我建议你关注一下E5-1680v3可好？这款是独行侠型服务器用CPU中性能很高的一款了

yjcmwgk

wgbigfatcat 发表于 2015-1-6 14:33
怎么不用i7-4770k 开测一下同样的gaussian？

i7跟e5对比测试……额……我还真没对比过……但是很难比……毕竟服务器里面的内存是ecc的，服务器里面的硬盘是sas的，服务器里的主板是双路的，……不一样的东西太多，比了也没太大意义吧

yjcmwgk

lao7 发表于 2015-1-6 14:38
担心体系大了跑不动哈，240个原子，加上频率计算，跑到猴年马月，估计内存都要升级。

      楼主认为 ...

很难说，
前者稍快一点儿，我有七成把握

lao7

yjcmwgk 发表于 2015-1-6 14:42
倒是真说不上浪费，比玩票强一些，比正经干活儿却又弱一些，算是高级票友吧，算着玩玩儿罢了。
但是，你 ...

这主板双路，不是单路

yjcmwgk

lao7 发表于 2015-1-6 14:49
这主板双路，不是单路

哎呀对不起对不起
但是，你只买一颗E5-2667？你们家的CPU会哭着喊着要媳妇儿！既然这张主板也是双人床！
我建议你关注一下E5-1680v3可好？这款是独行侠型服务器用CPU中性能很高的一款了，而单路主板还便宜:)

lao7

好 谢谢 我在关注  有些大体系 耗内存的算法  估计还得多核，高频，和高内存。
手头已经有一个AMD的32核心的了，就是主频太低2.1G。当时不懂。看了前辈们的指点才了解一些。
  谢谢指点！

lonewolf659

:):):)小卒加油

syjohn

写的很棒啊，期待有大神写下 MD的攒机教程，虽然管理员写了，但是时代变化太快了哈ps：高主频和大容量的内存对高斯和动力学来说都是最重要的

sobereva

syjohn 发表于 2015-1-9 09:14
写的很棒啊，期待有大神写下 MD的攒机教程，虽然管理员写了，但是时代变化太快了哈ps：高主频和大容量的内 ...

大容量内存对于分子动力学是不需要的。而且分子动力学程序的并行效率比起高斯都要高很多，所以频率和核数之间的关系不能一视同仁。
我写的单路攒机配置对于目前也是完全适用的。如果形势有变，需要进行调整，我会进行相应更新的。