计算化学公社

标题: [真·垃圾佬也要做计算]二手服务器采购小记 [打印本页]

作者
Author: exity 时间: 2022-1-15 11:29
标题: [真·垃圾佬也要做计算]二手服务器采购小记
本帖最后由 exity 于 2022-3-14 14:58 编辑

话说大奶机无故点不亮（也是自己攒的），踏上漫漫维修（sibi）路，手里能调用的算力只剩一台式机一笔记本，加起来8个核心，实在是要命。
受制于囊中羞涩，在群里大佬蛊惑下，决定吃个螃蟹，搞一个二手服务器过渡一下，花了一个上午敲定配置，淘宝（我真是不长记性，还淘宝）上找了个商家报价如下
后面打算自己去JD找个1T的致态的nvme做读写，也算是支持国产

(, 下载次数 Times of downloads: 60)

老板表示质保1年，还帮我写好centOS8系统，力保做到开箱即用（并没有，又不能给我装高斯），还表示今天就能发货（2022.1.15）
我算了一下，大奶机48C 30000 CNY（625CNY/C），这个机 20C 2100 CNY（105CNY/C），如果后续一切顺利，感觉我已经在垃圾佬的路上不能回头了。
后续实体机到了，再上照片即花絮。
待续......

2022.1.18更新
上海发顺丰发到我们这居然走了三天，很生气，打电话问顺丰，顺丰说：“您不是小件货，是大件货，所以要慢一点。”，更生气，又不能发火，解释就解释，干嘛骂人。

2022.1.19更新
终于到货了，开箱测试（lscpu free -h df -h大概看看CPU 内存硬盘对不对就行）暂且不表，说说安装系统和初步测试情况。
商家虽然给我装的是centOS8 s，但是貌似组件选的不那么对，自己重新装了一下，rufus写好系统盘，F12选对boot启动项，整个安装过程没遇见任何困难，如丝般顺滑。
安好开机，第一印象：声音大，真的和飞机起飞一样。不过如果只是待机的话，机子就很安静，只要有负载，立马起飞给你看。话说办公室小哥人很好，说没事您尽管在办公室测试，然后我zerotier远程玩了一下午，晚上再见小哥，小哥表情很是欲言又止，为了关系和谐，还是要早点扔到机房比较好。
装上高斯测试了一个TDDFT单点，温度和频率如下（冬天开空调，室温20度左右）
(, 下载次数 Times of downloads: 62)

说起来频率这块是有点小惊喜的，大奶机核心虽然多，但是满载的时候基本都是2500基频运行，这个U鸡血的很，让我对高斯效率不禁有了一些期待。

(, 下载次数 Times of downloads: 66)

真的很吵，配置好后要立刻扔机房里去。

下面是一些开箱和内部的杂图，联想内部布局还是很规整的，虽然不如dell家，但让我这种用惯组装机的人有一些惊艳了。
(, 下载次数 Times of downloads: 58)
貌似不能上传更多的图片了，上评测结果吧。

2022.1.20 更新

算了一个TDDFT单点，24个原子，关键词如下
td(nstates=100) pbe1pbe def2tzvp scrf=(solvent=water,smd) scf=noincore em=gd3bj

在大奶机上，使用
nproc=48 mem=180GB 耗时如下
Job cpu time:    0 days 11 hours 18 minutes 10.2 seconds.
Elapsed time:    0 days  0 hours 14 minutes 13.5 seconds.

在这台机上，使用
nproc=20 mem=60GB  耗时如下
Job cpu time:    0 days 13 hours 39 minutes 40.5 seconds.
Elapsed time:    0 days  0 hours 41 minutes 13.4 seconds.

性能价格比真的很不错！！！！！！！！！
性能价格比真的很不错！！！！！！！！！
性能价格比真的很不错！！！！！！！！！

由于大奶机还没有返回来，没有办法在大奶机上用20C做测试，等以后再说了。

2022.1.22更新
非常不严谨的在手机上安装了一个分贝计，量测了一下满载时的分贝大约在65~75之间波动，软件显示是闹市区的声音水平，但是特有的风扇低频嗡嗡声十分恼人，不能忍受。
在办公室环境中，待机声音可以忽略。

2022.2.20更新
经过一个年假的稳定运行，在今天上午发现不能SSH登录了，心想：“该来的终于还是来了。”
前往我自己的小小山楂机房现场查看，风扇高速运转中，没有显示输出，CPU出风口不热，电源按钮无效。
直接拔掉电源线，等待10分钟后重新加电，顺利进入BIOS，重置之。
BOOT界面出现多个centOS启动选项，选中原始的那个，黑屏。
重复上述操作，在centOS启动选项中选中带rescue的那个，顺利进入系统。

刨根问底之，cat /var/log/system | grep 上次启动日期
没有发现异常，于是打算不再深究。
出去机房大楼的时候迎面遇见几个物业师傅，手抬电焊机，就下意识问了一下：“师傅，最近有没有停电”，师傅说有时候临时接线会拉一下电闸。
内心百感交集。。。。
跑去实验室，把之前老UPS翻了出来，接了上去了。
南无普朗克菩萨、爱因斯坦佛保佑一切顺利。
以上。

2022.3.14 更新（10核心任务，在两个服务器上的差异）
大奶机终于返修回来，其中艰辛难以言表，有钱的大爷还是找本地供应商溢价个20%拿机器比较好，算是服务费了。（虽然这样说，估计以后我也还是淘宝DIY)
跑了一个72原子二聚体的SP任务，gjf内容如下

%nprocshared=10
%mem=40GB
%chk=10C_sp.chk
#p M062X/def2tzvp scrf=(solvent=water) em=gd3

Title Card Required

0 1

....

两个服务器上均使用一样的CPU和MEM设置。
和预期的有很大不同，虽然20C的服务器核心都运行在3500 MHz，而40C的服务器都运行在2500 MHz，本以为20C服务器会胜出，但并非如此，具体耗时如下
20C服务器 2h22m16sec
48C服务器 1h51m48.1sec
可见先进的架构可能还是对运算速度有不小的影响，单单频率快是无法在最后的速度上取胜的。
48C 服务器的CPU为 Intel(R) Xeon(R) Platinum 8259CL CPU @ 2.50GHz
20C 服务器的CPU为 Intel(R) Xeon(R) CPU E5-2666 v3 @ 2.90GH

在运行本任务的时候，两个服务器平衡温度分别为48C=55°C 20C=65~70°C。

以上。

作者
Author: Accelerator 时间: 2022-1-15 12:06
妙啊
不知道硬盘电源之类的状况怎么样等待后续测评

作者
Author: lonemen 时间: 2022-1-15 15:40
厉害，厉害。这真是白菜啊

作者
Author: biogon 时间: 2022-1-15 17:10
本帖最后由 biogon 于 2022-1-15 17:23 编辑

Accelerator 发表于 2022-1-15 12:06
妙啊
不知道硬盘电源之类的状况怎么样等待后续测评

rd350x虽然从300多涨到现在这个价,但是前面板能上四个u2盘,是现在最值的1u612准系统,电源不放心就多买备用,反正也不值钱,需要3.5的话买个300的砍头硬盘笼接外面
ps:这机器有两种版本,只支持v3的1.0,还有支持v4的1.2

作者
Author: guoguoping199 时间: 2022-1-17 12:27
妙啊，我也有想过这种，但是没敢下手，坐等大佬测评

作者
Author: 冰释之川 时间: 2022-1-17 13:57
卧槽，这么便宜的嘛？

作者
Author: exity 时间: 2022-1-17 19:13
本帖最后由 exity 于 2022-1-17 19:15 编辑

冰释之川发表于 2022-1-17 13:57
卧槽，这么便宜的嘛？

现在只要一台IB交换机，1W CNY组集群不是梦

作者
Author: sin544260 时间: 2022-1-17 23:48
好奇rd350x这个1u准系统能压多少瓦的U，2696V3现在也挺香的，不知道能不能上。
这价格一台50核白金价格能组到200核了，妙啊

作者
Author: exity 时间: 2022-1-18 08:50

sin544260 发表于 2022-1-17 23:48
好奇rd350x这个1u准系统能压多少瓦的U，2696V3现在也挺香的，不知道能不能上。
这价格一台50核白金价格能 ...

目测RD350X要涨价

作者
Author: biogon 时间: 2022-1-18 14:06

exity 发表于 2022-1-18 08:50
目测RD350X要涨价

rd350x现在已经是涨价过的价格了，原来只要300多

作者
Author: biogon 时间: 2022-1-18 14:08

sin544260 发表于 2022-1-17 23:48
好奇rd350x这个1u准系统能压多少瓦的U，2696V3现在也挺香的，不知道能不能上。
这价格一台50核白金价格能 ...

2696v3可以上ddr3内存，廉价大内存机器很爽

作者
Author: exity 时间: 2022-1-18 21:24

sin544260 发表于 2022-1-17 23:48
好奇rd350x这个1u准系统能压多少瓦的U，2696V3现在也挺香的，不知道能不能上。
这价格一台50核白金价格能 ...

对计算资源密度没有需求的场合这样组合确实比较实惠。

作者
Author: sin544260 时间: 2022-1-19 00:55

exity 发表于 2022-1-17 19:13
现在只要一台IB交换机，1W CNY组集群不是梦

缺点可能就是太便宜以至于不舍得上IB

作者
Author: sin544260 时间: 2022-1-19 00:58

exity 发表于 2022-1-18 21:24
对计算资源密度没有需求的场合这样组合确实比较实惠。

像楼主这样过渡或者给学生们练手就不错，算不了再用铂金系列或者超算也算是节约经费了

作者
Author: exity 时间: 2022-1-19 09:18

sin544260 发表于 2022-1-19 00:55
缺点可能就是太便宜以至于不舍得上IB

交换机比服务器贵，哈哈哈
不知道光口交换机效果怎么样

作者
Author: lcq845402558 时间: 2022-1-19 20:44
期待楼主后续，我现在就有一台双路2696V3 128G的跑vasp。用起来还可以，放在哪里慢慢跑一些不重要的计算，写个监控程序就行，就是散热有点严重。

作者
Author: eleket 时间: 2022-1-26 09:42
请问下楼主这个配置跑MS2017的forcite够用吗？新手，预算不够，想先搞一台够用的用着。

作者
Author: 牧生 时间: 2022-1-26 10:16

eleket 发表于 2022-1-26 09:42
请问下楼主这个配置跑MS2017的forcite够用吗？新手，预算不够，想先搞一台够用的用着。

免费，速度快，灵活的gromacs不香吗？

MS2017的forcite，速度慢的能让你怀疑人生

作者
Author: eleket 时间: 2022-1-26 10:43
组里用这个，我先用MS入门，有人带，等熟练了再学gmx。

作者
Author: madhatter 时间: 2022-1-26 11:00
问一个问题，两个2666是20核，可以用超线程40跑计算吗？个别吃超线程的软件实例效果是不是可以提高。

作者
Author: abin 时间: 2022-1-26 11:25

exity 发表于 2022-1-19 09:18
交换机比服务器贵，哈哈哈
不知道光口交换机效果怎么样

做并行计算，
以太网都不行。

用IB配合合理的硬盘I/O支持，
会有奇效。

可以海鲜市场找IB配件。
比较便宜，就是浪费时间而已。

作者
Author: exity 时间: 2022-1-26 21:52

eleket 发表于 2022-1-26 09:42
请问下楼主这个配置跑MS2017的forcite够用吗？新手，预算不够，想先搞一台够用的用着。

基本不用MS，不好意思哈帮不了你

作者
Author: exity 时间: 2022-1-26 21:53

madhatter 发表于 2022-1-26 11:00
问一个问题，两个2666是20核，可以用超线程40跑计算吗？个别吃超线程的软件实例效果是不是可以提高。

测试了一下高斯和ORCA开40个线程都是没有问题的，我个人习惯用物理核心数来跑，一般不超线程来用。

作者
Author: pinpo 时间: 2022-1-27 13:10
能长时间稳定运行就更好了

作者
Author: ljc050512 时间: 2022-2-4 08:47
厉害厉害~

欢迎光临计算化学公社 (http://bbs.keinsci.com/)