计算化学公社

标题: 【评测】E3单路服务器运行Gaussian 09 E.01软件的优劣 [打印本页]

作者
Author: yjcmwgk 时间: 2017-2-7 16:47
标题: 【评测】E3单路服务器运行Gaussian 09 E.01软件的优劣
本帖最后由 yjcmwgk 于 2017-2-10 09:01 编辑

春节前购买了一台E3服务器，走央采还不到5万块钱。服务器外观也简单，一个2U的盒子，里面装了6个E3单路节点，另配电源模块、硬盘模块等必要零件。

然后我用了一个不算太小的体系进行了测试。内含120多个原子（C、H、O、N、Y），无对称性，用M06-D3/genecp进行测试。进行计算时每核心分配4G内存。测试结果如下：

(, 下载次数 Times of downloads: 77)

对比1：与多核心正常主频的节点进行对比
实话说这个对比真不好做。因为我很久没买这种多核心的节点了，所以手里还是2014年买的E5-2690v2的双路节点。所以，E3-1270v5 vs E5-2690v2这个测试，E3机器占了架构的便宜！这一点必须指明。
先说价格。一颗E3-1270v5的价格相当于两颗E5-2690v2的8%，标称主频相当于24%。在实际计算表现上，E5-2690v2的双路机器既遭受了并行效率的惩罚，又承担了架构落后的无奈，所以真实运行时间方面，双路机器仅仅拥有3.3至3.8倍的优势。再考虑到价钱因素，E5-2690v2的双路机器是完败的。

对比2：与少核心高主频的节点进行对比
实话说这个对比容易做得多，毕竟我一直购买这种节点。这次拿出来对比的，是与E3-1270v5相同架构的E5-2643v4的双路节点。
同样先说价格。一颗E3-1270v5的价格相当于两颗E5-2643v2的11%，标称主频相当于35%。在实际计算表现上，E5-2643v2的双路机器同样遭受了并行效率的惩罚，所以真实运行时间方面，双路机器占有2.6至3.1倍的优势。考虑到价钱因素，E5-2643v4的双路机器依然是完败的。毕竟，买2颗2643的钱，都能买9颗1270了！

优点就很明显了：同样价钱下，用E3机器能达到E5机器的至少2.5倍的计算能力。有人可能考虑到主板钱之类的东西。然而四五张E3主板价格才相当于一张E5主板的价钱。同样，一台E3机器所配的内存本来就远少于一台E5机器，况且E3主板只能配低价的ECC内存。主要难处在于耗电，但也不会超过E5机器的两倍耗电。

缺点当然也很明显：巨大任务跑不动，较大任务跑得太慢（E5节点上跑两三天的任务，E3节点上直接冲着一周时间去了，等得心焦）。
所以E3节点基本上就是专搞中等任务的机器了。

从现在开始，我未来集群的规划中，恐怕至少有一半的设备费，就要贡献给E3单路节点了！这在咱们这个圈儿里，算是比较奇葩了吧！

@liyuanhe211 @jiewei @ggdh @dreamyeye @卡开发发 @yflchx

作者
Author: qczgzly 时间: 2017-2-7 17:13
花十倍价钱买三倍效率，还可以~

作者
Author: liyuanhe211 时间: 2017-2-7 18:39
本帖最后由 liyuanhe211 于 2017-2-7 18:47 编辑

小白状态给组里选机器的时候就发现低端硬件的性价比总是远高于高端机，低频 vs 高频、少核 vs 多核、单路 vs 双路等都如此。如果手头始终有很多个任务跑，或者搞一些平行的高通量筛选之类，不考虑管理成本感觉还是买些单路少核中间频率的机器实惠。不过如果有大任务、或者一个任务交过来被要求很快做完，就只能花钱（至少一部分）买性价比低但单机/单核效率高的机子了。其实搞计算买“尖端设备”的投入产出比、比搞分析的花好几百万增加不到50%灵敏度好多了。。。
我知道某“计算组”好像一机房几乎都是i7-4770K...

最后强迫症取个倒数好比较

(, 下载次数 Times of downloads: 66)

作者
Author: dreamyeye 时间: 2017-2-7 20:41
反正是自己的机器，反正是用来跑小小轻活儿的，反正频率高，E3们可以都打开超线程，6台机跑12个任务，说不定效率还可以再提升下。

作者
Author: ggdh 时间: 2017-2-7 23:15
e3的性价比真是高，不过我还是会选择E5
主要原因：没有地方放那么多电脑啊！！
小卒你的这个是放机柜里面的刀片么？

作者
Author: dreamyeye 时间: 2017-2-8 00:00

ggdh 发表于 2017-2-7 23:15
e3的性价比真是高，不过我还是会选择E5
主要原因：没有地方放那么多电脑啊！！
小卒你的这个是放机柜里面 ...

应该不是，可能是这里面说的这样http://bbs.keinsci.com/forum.php ... &extra=page%3D1

作者
Author: smutao 时间: 2017-2-8 03:37
当你需要跑大体系
特别是大体系的梯度、Hessian的时候
你就知道20线程甚至40线程的机器有多好了
linda开启简直逆天

作者
Author: yjcmwgk 时间: 2017-2-8 16:07

liyuanhe211 发表于 2017-2-7 18:39
小白状态给组里选机器的时候就发现低端硬件的性价比总是远高于高端机，低频 vs 高频、少核 vs 多核、单路 v ...

老李如果在北京出来聚聚吧

作者
Author: liyuanhe211 时间: 2017-2-8 16:16

smutao 发表于 2017-2-8 03:37
当你需要跑大体系
特别是大体系的梯度、Hessian的时候
你就知道20线程甚至40线程的机器有多好了

Linda 版 Gaussian 真用起来实惠嘛 (⊙o⊙)？用网线交互？

作者
Author: liyuanhe211 时间: 2017-2-8 16:19

yjcmwgk 发表于 2017-2-8 16:07
老李如果在北京出来聚聚吧

社交恐惧→_→要组织聚会十分恐慌怎么办 (╯▽╰) 一般是蹭饭 or 付钱的角儿

作者
Author: gauss98 时间: 2017-2-8 16:50

smutao 发表于 2017-2-8 03:37
当你需要跑大体系
特别是大体系的梯度、Hessian的时候
你就知道20线程甚至40线程的机器有多好了

有多核心机器linda效率方面的测试吗？
非常感谢！

作者
Author: yjcmwgk 时间: 2017-2-9 08:50

smutao 发表于 2017-2-8 03:37
当你需要跑大体系
特别是大体系的梯度、Hessian的时候
你就知道20线程甚至40线程的机器有多好了

没有万兆IB网，linda并行不幸福

作者
Author: yjcmwgk 时间: 2017-2-9 09:03
本帖最后由 yjcmwgk 于 2017-2-9 09:34 编辑

ggdh 发表于 2017-2-7 23:15
e3的性价比真是高，不过我还是会选择E5
主要原因：没有地方放那么多电脑啊！！
小卒你的这个是放机柜里面 ...

只要把刀片放在机柜里，那空间真心不是问题啊
这是我喜欢的平台：
双路的节点，在2U空间内能装四台
(, 下载次数 Times of downloads: 57)
单路的节点，在3U或4U空间内能装12台
(, 下载次数 Times of downloads: 50)
这种机器之所以能造出来，关键就是这张主板太紧凑了！没有硬盘，只有CPU和内存插槽。CPU的槽子是2*E5-26XX的插槽。内存的槽子有8、12、16的规格。
至于硬盘啊网卡啊光驱啊这些外设也都留了插槽。
(, 下载次数 Times of downloads: 64)
还有更窄的
(, 下载次数 Times of downloads: 67)
以及更加微小的单路刀片主板
(, 下载次数 Times of downloads: 56)

其实下面这个才是我的自用款
(, 下载次数 Times of downloads: 60)
@liyuanhe211 @ggdh @smutao

作者
Author: dreamyeye 时间: 2017-2-9 10:25

yjcmwgk 发表于 2017-2-9 09:03
只要把刀片放在机柜里，那空间真心不是问题啊
这是我喜欢的平台：
双路的节点，在2U空间内能装四台

散热咋整？只靠空气流动？

作者
Author: ggdh 时间: 2017-2-9 11:27

yjcmwgk 发表于 2017-2-9 09:03
只要把刀片放在机柜里，那空间真心不是问题啊
这是我喜欢的平台：
双路的节点，在2U空间内能装四台

小卒，你这个小主板的型号是啥啊。另外有没有能够上gpu的这种小板啊？

作者
Author: yjcmwgk 时间: 2017-2-9 12:59

qczgzly 发表于 2017-2-7 17:13
花十倍价钱买三倍效率，还可以~

其实如果考虑到全寿命耗电，按六年计算吧，就应该是花七倍价钱买三倍效率了

作者
Author: yjcmwgk 时间: 2017-2-9 13:42
本帖最后由 yjcmwgk 于 2017-2-9 13:57 编辑

ggdh 发表于 2017-2-9 11:27
小卒，你这个小主板的型号是啥啊。另外有没有能够上gpu的这种小板啊？

你这个小主板的型号是啥啊？
直接上intel官网，S2600KP系列和S1600JP系列
(, 下载次数 Times of downloads: 35)
(, 下载次数 Times of downloads: 36)
(, 下载次数 Times of downloads: 42)

有没有能够上gpu的这种小板啊？
也许有吧，我没见过
下载附件
(, 下载次数 Times of downloads: 1)

作者
Author: yjcmwgk 时间: 2017-2-9 14:05
本帖最后由 yjcmwgk 于 2017-2-9 14:11 编辑

dreamyeye 发表于 2017-2-9 10:25
散热咋整？只靠空气流动？

靠这种东西组成“阵列”
如果一个风扇只有1U高度的话，那就用2x6或2x8个风扇组成小风扇阵列
如果一个风扇能有2U高度的话，那就用4个风扇组成大风扇阵列
机箱内一律纵向透气
(, 下载次数 Times of downloads: 41)
(, 下载次数 Times of downloads: 44)
(, 下载次数 Times of downloads: 45)
(, 下载次数 Times of downloads: 42)

作者
Author: PhoenixYeti 时间: 2017-2-12 20:19
请教下楼主，相同频率下，不同架构的CPU性能相差能有多少，比如v1和v4之间？

作者
Author: abin 时间: 2017-2-18 11:30
本帖最后由 abin 于 2017-2-18 11:33 编辑

我自己的测试对比是：
Inspur 机器， E5 2692 v2, x2, 48GB RAM 大概6W
E3 1245 PC 机， 5台，大概不到2W，普通的千兆网卡，千兆交换机，做 Cluster

两个机器运行一样的 ADF 计算， PC 集群比浪潮的机器快3倍左右；价格便宜很多；

运行一样的 VASP 计算，加速不明显，两个机器的运行速度差不多，PC 主要吃亏在网络太慢，但是4 cpu core X 5 = 20 cpu core，核心数也比浪潮的少。

运行 G09， linda 采用两个节点，速度和浪潮机器上使用一个处理器的速度相当。

你要问稳定性吧。
我可以告诉你：
node1 ~]$ uptime
11:23:37 up 82 days, 1:13, 1 user, load average: 4.17, 4.10, 4.09
当前一直在运行 VASP，没死过。

所以动手能力强，不怕麻烦，然后钱不多的情况下，可以考虑这种解决方案。

当然如果使用楼上提到的那种紧凑的机柜，会跟划算。

我目前倾向于不采用 PC 机箱。

作者
Author: abin 时间: 2017-2-18 11:31
我自己的测试对比是：
Inspur 机器， E5 2692 v2, x2, 48GB RAM 大概6W
E3 1245 PC 机， 5台，大概不到2W，普通的千兆网卡，千兆交换机，做 Cluster

两个机器运行一样的 ADF 计算， PC 集群比浪潮的机器快3倍左右；价格便宜很多；

运行一样的 VASP 计算，加速不明显，两个机器的运行速度差不多，PC 主要吃亏在网络太慢，但是4 cpu core X 5 = 20 cpu core，核心数也比浪潮的少。

运行 G09， linda 采用两个节点，速度和浪潮机器上使用一个处理器的速度相当。

你要问稳定性吧。
我可以告诉你：
node1 ~]$ uptime
11:23:37 up 82 days, 1:13, 1 user, load average: 4.17, 4.10, 4.09
当前一直在运行 VASP，没死过。

所以动手能力强，不怕麻烦，然后钱不多的情况下，可以考虑这种解决方案。

作者
Author: gauss98 时间: 2017-3-27 15:17
老兄
测个test397看看，毕竟是V5的架构
跟stecue 兄的Ryzen 8核 3.9G PK下
他是gaussian09 D01 test397 219秒

作者
Author: liyuanchao616 时间: 2021-2-10 06:11
齐老师，啥机子这么便宜啊，给介绍个路子啊

作者
Author: abin 时间: 2021-2-10 08:30

liyuanchao616 发表于 2021-2-10 06:11
齐老师，啥机子这么便宜啊，给介绍个路子啊

当前最具性价比的，
可能是采用v3,v4等处理器，
然后采用戴尔，或者广达的四子星主板。

就是一个标准2U壳子中，
放四个双路主板。
配一个万兆网卡，
做集群，也很爽的。

注意散热呀。
散热不好，那种240W功耗的处理器，就不要想了。

欢迎光临计算化学公社 (http://bbs.keinsci.com/)