【评测】E3单路服务器运行Gaussian 09 E.01软件的优劣

yjcmwgk

春节前购买了一台E3服务器，走央采还不到5万块钱。服务器外观也简单，一个2U的盒子，里面装了6个E3单路节点，另配电源模块、硬盘模块等必要零件。

然后我用了一个不算太小的体系进行了测试。内含120多个原子（C、H、O、N、Y），无对称性，用M06-D3/genecp进行测试。进行计算时每核心分配4G内存。测试结果如下：



对比1：与多核心正常主频的节点进行对比
实话说这个对比真不好做。因为我很久没买这种多核心的节点了，所以手里还是2014年买的E5-2690v2的双路节点。所以，E3-1270v5 vs E5-2690v2这个测试，E3机器占了架构的便宜！这一点必须指明。
先说价格。一颗E3-1270v5的价格相当于两颗E5-2690v2的8%，标称主频相当于24%。在实际计算表现上，E5-2690v2的双路机器既遭受了并行效率的惩罚，又承担了架构落后的无奈，所以真实运行时间方面，双路机器仅仅拥有3.3至3.8倍的优势。再考虑到价钱因素，E5-2690v2的双路机器是完败的。

对比2：与少核心高主频的节点进行对比
实话说这个对比容易做得多，毕竟我一直购买这种节点。这次拿出来对比的，是与E3-1270v5相同架构的E5-2643v4的双路节点。
同样先说价格。一颗E3-1270v5的价格相当于两颗E5-2643v2的11%，标称主频相当于35%。在实际计算表现上，E5-2643v2的双路机器同样遭受了并行效率的惩罚，所以真实运行时间方面，双路机器占有2.6至3.1倍的优势。考虑到价钱因素，E5-2643v4的双路机器依然是完败的。毕竟，买2颗2643的钱，都能买9颗1270了！

优点就很明显了：同样价钱下，用E3机器能达到E5机器的至少2.5倍的计算能力。有人可能考虑到主板钱之类的东西。然而四五张E3主板价格才相当于一张E5主板的价钱。同样，一台E3机器所配的内存本来就远少于一台E5机器，况且E3主板只能配低价的ECC内存。主要难处在于耗电，但也不会超过E5机器的两倍耗电。

缺点当然也很明显：巨大任务跑不动，较大任务跑得太慢（E5节点上跑两三天的任务，E3节点上直接冲着一周时间去了，等得心焦）。
所以E3节点基本上就是专搞中等任务的机器了。

从现在开始，我未来集群的规划中，恐怕至少有一半的设备费，就要贡献给E3单路节点了！这在咱们这个圈儿里，算是比较奇葩了吧！

@liyuanhe211 @jiewei  @ggdh @dreamyeye  @卡开发发  @yflchx

abin

liyuanchao616 发表于 2021-2-10 06:11
齐老师，啥机子这么便宜啊，给介绍个路子啊

当前最具性价比的，
可能是采用v3,v4等处理器，
然后采用戴尔，或者广达的四子星主板。

就是一个标准2U壳子中，
放四个双路主板。
配一个万兆网卡，
做集群，也很爽的。

注意散热呀。
散热不好，那种240W功耗的处理器，就不要想了。

liyuanchao616

齐老师，啥机子这么便宜啊，给介绍个路子啊

gauss98

老兄
测个test397看看， 毕竟是V5的架构
跟stecue 兄的Ryzen  8核 3.9G  PK下
他是gaussian09 D01 test397 219秒

abin

我自己的测试对比是：
Inspur 机器， E5 2692 v2, x2, 48GB RAM  大概6W
E3 1245 PC 机， 5台， 大概不到2W，普通的千兆网卡，千兆交换机， 做 Cluster

两个机器运行一样的 ADF 计算， PC 集群比浪潮的机器快3倍左右；价格便宜很多；

运行一样的 VASP 计算，加速不明显，两个机器的运行速度差不多，PC 主要吃亏在网络太慢，但是4 cpu core X 5 = 20 cpu core， 核心数也比浪潮的少。

运行 G09， linda 采用两个节点， 速度和浪潮机器上使用一个处理器的速度相当。

你要问稳定性吧。
我可以告诉你：
node1 ~]$ uptime
11:23:37 up 82 days,  1:13,  1 user,  load average: 4.17, 4.10, 4.09
当前一直在运行 VASP，没死过。

所以动手能力强， 不怕麻烦， 然后钱不多的情况下， 可以考虑这种解决方案。

abin

我自己的测试对比是：
Inspur 机器， E5 2692 v2, x2, 48GB RAM  大概6W
E3 1245 PC 机， 5台， 大概不到2W，普通的千兆网卡，千兆交换机， 做 Cluster

两个机器运行一样的 ADF 计算， PC 集群比浪潮的机器快3倍左右；价格便宜很多；

运行一样的 VASP 计算，加速不明显，两个机器的运行速度差不多，PC 主要吃亏在网络太慢，但是4 cpu core X 5 = 20 cpu core， 核心数也比浪潮的少。

运行 G09， linda 采用两个节点， 速度和浪潮机器上使用一个处理器的速度相当。

你要问稳定性吧。
我可以告诉你：
node1 ~]$ uptime
11:23:37 up 82 days,  1:13,  1 user,  load average: 4.17, 4.10, 4.09
当前一直在运行 VASP，没死过。

所以动手能力强， 不怕麻烦， 然后钱不多的情况下， 可以考虑这种解决方案。

当然如果使用楼上提到的那种紧凑的机柜， 会跟划算。

我目前倾向于不采用 PC 机箱。

PhoenixYeti

请教下楼主，相同频率下，不同架构的CPU性能相差能有多少，比如v1和v4之间？

yjcmwgk

dreamyeye 发表于 2017-2-9 10:25
散热咋整？只靠空气流动？

靠这种东西组成“阵列”
如果一个风扇只有1U高度的话，那就用2x6或2x8个风扇组成小风扇阵列
如果一个风扇能有2U高度的话，那就用4个风扇组成大风扇阵列
机箱内一律纵向透气

yjcmwgk

ggdh 发表于 2017-2-9 11:27
小卒，你这个小主板的型号是啥啊。另外有没有能够上gpu的这种小板啊？

你这个小主板的型号是啥啊？
直接上intel官网，S2600KP系列和S1600JP系列




有没有能够上gpu的这种小板啊？
也许有吧，我没见过
下载附件
server-board-s2600kp-brief.pdf (538.96 KB, 下载次数 Times of downloads: 1)

2017-2-9 13:49 上传 Uploaded

点击下载
Click to download

yjcmwgk

qczgzly 发表于 2017-2-7 17:13
花十倍价钱买三倍效率，还可以~

其实如果考虑到全寿命耗电，按六年计算吧，就应该是花七倍价钱买三倍效率了

ggdh

yjcmwgk 发表于 2017-2-9 09:03
只要把刀片放在机柜里，那空间真心不是问题啊
这是我喜欢的平台：
双路的节点，在2U空间内能装四台

小卒，你这个小主板的型号是啥啊。另外有没有能够上gpu的这种小板啊？

dreamyeye

yjcmwgk 发表于 2017-2-9 09:03
只要把刀片放在机柜里，那空间真心不是问题啊
这是我喜欢的平台：
双路的节点，在2U空间内能装四台

散热咋整？只靠空气流动？

yjcmwgk

ggdh 发表于 2017-2-7 23:15
e3的性价比真是高，不过我还是会选择E5
主要原因：没有地方放那么多电脑啊！！
小卒你的这个是放机柜里面 ...

只要把刀片放在机柜里，那空间真心不是问题啊
这是我喜欢的平台：
双路的节点，在2U空间内能装四台

单路的节点，在3U或4U空间内能装12台

这种机器之所以能造出来，关键就是这张主板太紧凑了！没有硬盘，只有CPU和内存插槽。CPU的槽子是2*E5-26XX的插槽。内存的槽子有8、12、16的规格。
至于硬盘啊网卡啊光驱啊这些外设也都留了插槽。

还有更窄的

以及更加微小的单路刀片主板


其实下面这个才是我的自用款

@liyuanhe211  @ggdh @smutao

yjcmwgk

smutao 发表于 2017-2-8 03:37
当你需要跑大体系
特别是大体系的梯度、Hessian的时候
你就知道20线程甚至40线程的机器有多好了

没有万兆IB网，linda并行不幸福

gauss98

smutao 发表于 2017-2-8 03:37
当你需要跑大体系
特别是大体系的梯度、Hessian的时候
你就知道20线程甚至40线程的机器有多好了

有多核心机器linda效率方面的测试吗？
非常感谢！