计算化学公社

标题: [垃圾佬的快乐]总价不到4700的廉价32核64线程128G内存半新服务器，比组里的还快 [打印本页]

作者
Author: harrisonmo 时间: 2022-4-28 16:03
标题: [垃圾佬的快乐]总价不到4700的廉价32核64线程128G内存半新服务器，比组里的还快
本帖最后由 harrisonmo 于 2022-4-28 16:10 编辑

前言：虽然自己平时很少在论坛发言（因为自己计算水平一般般），只是默默看大佬们发帖。不过我对计算机硬件比较了解，也喜欢捡垃圾。
组里服务器大概13-14年买的，那时候10w+吧，我不知道是啥U，估计是Haswell架构22nm的E5-2696v3之类的吧。这台机子需要用的人很多，一直在排队。
然后为了稳定考虑，管理员不让我装ORCA和xTB(我?)，
自己最近又需要赶计算，还有一点做机器学习和编译的需求，于是我和@syx123456 组了台半二手的（末尾有图）。

垃圾佬登场！

以下为配置清单：
(, 下载次数 Times of downloads: 113)
购买于2022年4月15号，总价￥4684.74，￥146.4/核。
自己花了两个小时拼起来，一次点亮，在不用搬砖的闲暇花了一周来配置Unbuntu下的各种东西，包括高斯，ORCA，Torque（失败了），各种驱动。
还有python下的一堆库，内网穿透啥之类的。

还有几个非必要的配件：
亚克力开放式机箱￥68（略奢侈，本来打算用鞋盒的，但被实验室安全员发现然后训斥了一顿，只能买个架子）注意e-ATX机箱很重，约7-8kg，建议买开放式机箱或者机架式服务器机箱。
USB无线网卡, 螃蟹卡811AC 650M ￥35。大家如果要买，注意买150M的。卖家说Ubuntu免驱的（不用Cent OS的原因），但650M的居然不！免！驱！卖家还不知道！官方驱动居然过不了编译(下辈子都不买垃圾螃蟹卡了)，最后自己去Github找一个驱动编译，浪费时间。

从师兄那里借的坏键盘，顺手修好了，免费。
HDMI诱骗器，这个用于无屏幕开机（我买的主板没有集显），我以前买了不少，大概￥4一个吧。

以下为对硬件的评价，不感兴趣的可以跳过。

CPU：本来想买E5 2666v3的，但觉得性能太辣鸡了，22nm还费电。
就上了Intel志强E5-2683v4, 最近的大船洋垃圾，初代14nm，Broadwell架构，与酷睿5代一个架构(不常见，桌面端没有五代，恰好我的Macbook Air2015就是这个架构的)。
16C32T，主频比较低，单核睿频3.5GHz，全核睿频2.5GHz，支持AVX2, TDP120W，7.5W/核(替老板省电)。
到手的cpu顶盖有孔，但上机完全正常。440一颗是真的便宜，店家还给一年保修，不过我从来没见过CPU坏掉的。(最多针脚断的)
内存：三星的DDR4 ECC 2400 16G*8，没啥好说的。
主板：华南e-ATX寨版X99-F8D，垃圾佬的豪华选择，CPU供电和南桥都有很好的散热。注意仅支持DDR4服务器内存，最高2400MHz。扩展性良好，4个USB3.0，4个USB2.0，可拓展出2个USB2.0，双千兆网口，一个M.2 NVME，一个M.2 SATA，10个SATA3，三个PCIe*16插槽，带debug液晶显示器，自带装好的开机和重启键。电源供电仅有6+6，不过咱也不是顶级U，完全够用。一手主板就不考虑刷鸡血BIOS了，虽然好像也刷不了。二手主板便宜个一百左右，那就没啥必要买二手了，官方还有三年保修。
硬盘：支持国产，特别是高性能高性价比国产！TiPlus5000无愧于PCIe3.0硬盘之王的名号，还是单面TLC颗粒，发热很低。全盘SLC模拟，接近装满会大幅降速，要注意。矿老板认证的高质量硬盘，覆写超强，xstacking属实强！机械暂时用不着，以后再装。
电源：90元还要什么自行车！（快递费12）台式机电源一般不敢买二手，怕炸，不过服务器问题不大，24+8+8相供电，如果600W满载特别吵，但咱算了功率，整机满载刚好在电源满载的60%左右，既保证了安全，转换效率还高(80+)，实测噪音约40分贝，因此我没丢机房，直接扔在实验室里。
散热器：六热管双风扇，CPU压感冒了。
亮机卡：扫雷不卡。

性能测试：
理论性能：
测试在windows下用图吧工具箱进行，linux我也不知道咋侧比较好。
双路CPU下实测：
Cinebeech R23 单核642，多核24000，比例31.8(单核睿频只有2.9GHz，这颗U的windows单核调度稀烂)，作为对比i9-11900K为16211，i9-12900K为27472(来源：cpu-onkey)
单烤FPU温度62摄氏度，风扇转速和功耗读的不准，用向日葵插座测出整机的功耗约400W，很节能。
显卡也就图一乐。
内存测试：没记录，挺常规的，延迟52ns，带宽忘了，反正比不上自己用的高频DDR4。
硬盘测试：致态TiPlus 5000 1T，连续写3600M/s，连续写 2800M/s， 4k随机读35M/s，随机写25M/s，不愧为顶级国产PCIe3.0 SSD！满载测试仅52度，强！

非常粗糙的性能实际测试：
我拿两台服务器(一台学校公用，一台组里)和自己装的服务器用G09跑了一个H-Bpin的opt freq，使用8核16GB内存，级别为ωB97XD/6-31G*。

揭晓结果：
19年组装的学校服务器跑了8分半，组里的跑了17分钟，我们组装的只花了7分40秒，垃圾佬大胜利！
(其他两个服务器是满载的，我们的只跑了一个任务，有点耍赖，也占了超线程的优势，后续常规任务结果跟学校公共服务器类似)
intel挤牙膏石锤！到现在都没出10nm的服务器CPU，这不得被AMD干爆(AMD,Yes!)
！做DFT计算AMD会遇到各种神奇的问题，还是尽量用英特尔非异构CPU（这个也已知有bug），比如G16 B.01 之前的版本无法正确识别AMD的AVX2，从而会报错。

最后老板让我们放通风橱里（怕炸?），已经开始满载运行了。
(, 下载次数 Times of downloads: 98)
满载三天平衡下，电源约50度，CPU稳稳62度。

总结：总价￥4684.74，￥146.4/核，32C64T，128G内存，1T高性能固态，性价比超高，高故障率器件也避开了二手或者咸鱼。如果用8核16GB内存投任务刚好8个，可以满足日常计算需求。如有需求可自行安装GPU(PCIe3.0*16足以安装当前绝大多数GPU)。14nmCPU省电不过时，运算速度尚可。

本人水平有限，犯错在所难免，欢迎各位点评指正！

作者
Author: 牧生 时间: 2022-4-28 16:13
本帖最后由牧生于 2022-4-28 16:15 编辑

如有有一件你担心会发生的坏事，那么这件事一定会发生。
你贴的那张纸，反而会引起有人注意，然后手贱要去关电源

作者
Author: harrisonmo 时间: 2022-4-28 16:18

牧生发表于 2022-4-28 16:13
如有有一件你担心会发生的坏事，那么这件事一定会发生。
你贴的那张纸，反而会引起有人注意，然后手贱要去 ...

第一天就差点被检查的大爷关了

作者
Author: syx123456 时间: 2022-4-28 16:22
居然真有人回复这个帖子
吐槽一下orca这东西算的是快但是会莫名其妙报诡异错误，有时候别人装点东西就能让它崩掉
用nohup sh orca.pbs &提交任务的时候有可能会报诡异错误：
ORCA finished by error termination in SCF
Calling Command: mpirun -np 8 /home/mqk/soft/orca-5.0.3/orca_scf_mpi ly-pt-13-s-scan.gbw b ly-pt-13-s-scan
[file orca_tools/qcmsg.cpp, line 465]:
.... aborting the run
用bash提交目前还没崩。不知道是什么问题

作者
Author: 小墨 时间: 2022-4-28 16:24
学长，给孩子穿个衣服吧，本来就没给孩子吃啥好吃的

。

作者
Author: chands 时间: 2022-4-28 16:28
赞动手能力。建议这句话高亮：”从师兄那里借的坏键盘，顺手修好了，免费“。如果是我，顺手扔了。。。。

作者
Author: abin 时间: 2022-4-28 16:28
本帖最后由 abin 于 2022-4-28 16:48 编辑

我有提供Copy+Paste方案, 自动安装SLURM的工具, hpc4you toolkit solo.
如有兴趣, 可以查询, https://gitee.com/hpc4you/hpc

前几天以为不知名网友微信问我,
预算10万, 想要360核心, 1280GB内存. 只要跑Gaussian, ORCA.

我说你买2686v4之类的淘宝处理器, 要18核心, 谁便宜买谁的.
10台18核心双路+机柜+硬盘+网络配件, 10万应该能搞定.
然后被鄙视, 你居然给我拆机旧货.....

我无语, 其实我想说, 5000人民币, 去4S店, 买个精致的车模都不够呢...想哈法拉利呀...

对于不能实现源码编译优化的应用, 比如ORCA, Gaussian等,
使用v3/v4等“垃圾”处理器, 性价比还是很不错的.

作者
Author: harrisonmo 时间: 2022-4-28 16:36

小墨发表于 2022-4-28 16:24
学长，给孩子穿个衣服吧，本来就没给孩子吃啥好吃的。

我才大三呢，不一定是你学长

机箱？没用鞋盒不错了，开放式机箱+通风橱散热贼好，不像机房需要空调散热。

作者
Author: 红米饭1234 时间: 2022-4-28 16:37
穿个衣服

作者
Author: abin 时间: 2022-4-28 16:47

syx123456 发表于 2022-4-28 16:22
居然真有人回复这个帖子
吐槽一下orca这东西算的是快但是会莫名其妙报诡异错误，有时候别人装点东西就能让 ...

试试我提供的可执行ORCA 文件，
会无视任何已经有的设定……
应该能正常运行。
签名链接中自己找吧……

作者
Author: 小墨 时间: 2022-4-28 16:55

harrisonmo 发表于 2022-4-28 16:36
我才大三呢，不一定是你学长
机箱？没用鞋盒不错了，开放式机箱+通风橱散热贼好，不像机房需要 ...

那差不多，我比你老一岁。看到通风橱了，想起以前大二我也使用通风橱降温，

，那时候任务多，天气热，学院不让晚上开空调给机箱降温，于是乎我把机子搬到有机实验室通风橱里让他晚上跑，第二天早上去下载结果。

作者
Author: wypkdhd 时间: 2022-4-28 18:02
说真的，X99平台我一直很看好的，但是如果我用来跑vasp，我还是比较倾向于14nm 的skylake，搞ES的cpu也能用。毕竟指令集加成效率高。

作者
Author: kekexili_08 时间: 2022-4-28 18:31
你那的安全大爷还行。我这，估计要贴封条。

作者
Author: biogon 时间: 2022-4-28 18:55
本帖最后由 biogon 于 2022-4-28 19:03 编辑

买v4还不如v3，v3能打鸡血，用起来可能比v4还快
这个华南寨板不如买2U的准系统，还便宜，内存更是用2133就够了，每条只要180，这么搞下来能给你省起码六百吧

作者
Author: biogon 时间: 2022-4-28 19:24

wypkdhd 发表于 2022-4-28 18:02
说真的，X99平台我一直很看好的，但是如果我用来跑vasp，我还是比较倾向于14nm 的skylake，搞ES的cpu也能用 ...

8124m已经900了，真别用es了

作者
Author: exity 时间: 2022-4-28 20:08
整个机箱吧，时间长了，一层灰，吹都吹不掉

作者
Author: harrisonmo 时间: 2022-4-28 20:15

biogon 发表于 2022-4-28 18:55
买v4还不如v3，v3能打鸡血，用起来可能比v4还快
这个华南寨板不如买2U的准系统，还便宜，内存更是用2133就 ...

考虑过v3的，比如2686v3，但从R20跑分看多核性能估计差30-40%，broadwell架构虽然频率上不去，但同频性能还是很不错的，毕竟22nm到14nm提升巨大。公社里有一篇用2666v3的文章，可以参考，我的这套相当于是那一套的全面升级版。四五百甚至两三百的X99双路准系统都是“丐版寨版”，温控都没有，供电也不行，真心不敢用，惜命。如果非要省钱上X79平台，DDR3 1600一条才120，更便宜。2133内存带宽比2400少20%，跑freq之类吃内存的计算性能会差很多。

作者
Author: biogon 时间: 2022-4-28 22:21

harrisonmo 发表于 2022-4-28 20:15
考虑过v3的，比如2686v3，但从R20跑分看多核性能估计差30-40%，broadwell架构虽然频率上不去，但同频性能 ...

你可能对那几代挤牙膏没有什么概念，这么和你说吧，从2696v3 2697v4到8124m的单核性能基本就是微小提升，全靠频率提升，而且2696v3可以打鸡血，性能和2696v4没区别，内存2133比2400少20%？实际跑出来的带宽差距不会大于5%，跑程序最多也就3%吧，2666相比3200都没多大差别，更别说这么小的差距，服务器要供电有什么用，你又不超频，那些准系统再丐也比华南寨板稳定。另外e5v3也能在部分服务器上ddr3，随便暴打x79全家

作者
Author: hersvim 时间: 2022-4-28 23:23
全核睿频2.6GHz吧

作者
Author: Freeman 时间: 2022-4-28 23:38
好大的机箱啊！

作者
Author: ggdh 时间: 2022-4-29 00:35
哈哈给垃圾佬点赞

作者
Author: hersvim 时间: 2022-4-29 01:28

biogon 发表于 2022-4-28 19:24
8124m已经900了，真别用es了

哪里有卖900的8124m啊？请告知

作者
Author: biogon 时间: 2022-4-29 10:22

hersvim 发表于 2022-4-29 01:28
哪里有卖900的8124m啊？请告知

看了下好像是卖完了，不过咸鱼上还有5200的8124m双路整机，可以砍到5000

作者
Author: harrisonmo 时间: 2022-4-29 11:23

hersvim 发表于 2022-4-28 23:23
全核睿频2.6GHz吧

对的，我疏忽了，实测能跑到2.58GHz

作者
Author: muxijiao 时间: 2022-4-29 14:53
哥们儿，你要不搞十个，我收了，价格好商量

作者
Author: ionexchangeC 时间: 2022-4-29 19:03
华南真不愧是垃圾佬快乐板

作者
Author: bmwbush 时间: 2022-4-30 11:01
这散热服气，杠杠的

作者
Author: 啊不错的飞过海 时间: 2022-5-3 17:58
放通风橱莫不是当大号机箱使的，还自带机箱风扇（大雾

作者
Author: 一颗赛艇 时间: 2022-5-4 09:06
华南的垃圾寨板我打死都不碰的

楼主小心啊

作者
Author: harrisonmo 时间: 2022-5-4 09:09

一颗赛艇发表于 2022-5-4 09:06
华南的垃圾寨板我打死都不碰的

楼主小心啊

自己用的电脑肯定不敢用，不过这玩意扔防爆通风橱了，反正比实验用的丁基锂啥的安全多了

作者
Author: 双黄蛋 时间: 2022-5-4 16:06
我也想买便宜点的内存，不用全新，就怕水深

作者
Author: Geyer 时间: 2022-5-9 09:12
本帖最后由 Geyer 于 2022-5-9 09:17 编辑

同为自费做计算的垃圾佬，看到C612平台甚是怀念（毕竟自己的第一台机子就是双2683v3），略做一些点评：
1. 关于平台与CPU的选择上，@biogon 的观点可以说是完全正确。牙膏初代14nm极其垃圾，耗电没降多少良率捉急频率还上不去，对应桌面平台（5代）连宣发的胆量都没你就知道这玩意儿有多废物了，和后来动辄5.xg的咖啡湖彗星湖之流完全两码事。何况v3还能鸡血，全核给你提个20%左右不成问题（你要是愿意降压跑p95测稳定性那还能更高）。v4于我而言就是纯纯的电子垃圾，拿去打水漂都嫌割手那种。
2. 内存选择其实和CPU选择是绑定的，你既然不跑vasp其实完全没必要ddr4 2400。直接双2696v3+华南寨板X99T8D配合8×32G recc 1600，价格基本不变的情况下内存翻到256g随便你造，小体系直接双杂化泛函安排上。能支持极其廉价的ddr3 recc在我看来是2202年E5最后的生命力所在，如果一定要ddr4那就没必要坚持老E5了，900一个的8124m他不香吗？
3. x99t8d/f8d的nvme接口最大支持22110规格，意味着比起价格高昂的家用盘它允许用户上大船盘。换我来的话可能直接安排上永不掉速983a 900g立省一半硬盘钱，不过这个看个人选择。
4. 稍微纠正一个认识误区，牙膏10nm的icl-sp早在去年年底就已经可以随便买了，现在你甚至已经可以买到es版的spr-sp（没板子点不亮）。牙膏在10nm节点抽风搞大跃进差点没把自己玩死是事实，但很早以前我就已经指出他没必要被踩一捧一得这么厉害，尤其是友商的节操也不咋地的情况下。说实话5950x我摸了一堆了，不是老手的情况下拿来跑高斯的体验其实也不是那么好，给你带来的折腾远大于提供的便利。
无论如何自己动手丰衣足食的精神还是很不错的hhhhhh鼓励一下

作者
Author: 起飞`~ 时间: 2022-5-13 14:19

wypkdhd 发表于 2022-4-28 18:02
说真的，X99平台我一直很看好的，但是如果我用来跑vasp，我还是比较倾向于14nm 的skylake，搞ES的cpu也能用 ...

二代铂金步进5,6是最好的，傲腾单条又快又超级便宜容量又大，这一代的es bug几乎为零

作者
Author: jgaotao 时间: 2022-5-17 10:49

一颗赛艇发表于 2022-5-4 09:06
华南的垃圾寨板我打死都不碰的

楼主小心啊

华南的板有啥缺点嘛？

作者
Author: 一颗赛艇 时间: 2022-5-20 05:22

jgaotao 发表于 2022-5-17 10:49
华南的板有啥缺点嘛？

造主板要南桥。现在哪有新的南桥卖？早都停产了

作者
Author: 昼夏の忧郁 时间: 2022-5-22 15:12
我擦，华南的板子都能高强度运行了嘛？

作者
Author: nkulyl80 时间: 2022-5-27 00:10
给孩子穿穿衣服吧，搞不好哪天不小心喷点溶剂上去~

作者
Author: zsu007 时间: 2022-5-30 17:02
看完，觉得楼主动手能力很强

作者
Author: sun35mr 时间: 2022-5-30 18:23
Torque在Ubuntu下好像只能安装2.4.7的那个版本，我想问一下，华南金牌的主板上CPU供电模块会过热吗？我用的超微的主板CPU供电模块满载就会过热，上了4个风扇才压住

作者
Author: zzzhao 时间: 2022-6-10 15:15

sun35mr 发表于 2022-5-30 18:23
Torque在Ubuntu下好像只能安装2.4.7的那个版本，我想问一下，华南金牌的主板上CPU供电模块会过热吗？我用的 ...

我也买了华南的双路X99，光待机不工作，供电散热片会很烫手，不过应该是正常的，三年质保在那里，问题不大

作者
Author: harrisonmo 时间: 2022-7-6 21:27

sun35mr 发表于 2022-5-30 18:23
Torque在Ubuntu下好像只能安装2.4.7的那个版本，我想问一下，华南金牌的主板上CPU供电模块会过热吗？我用的 ...

最近在忙别的，回的有点晚了。正常来说不会，不过也别装高功耗的2699v4之类的cpu，就6相供电，受不了的。

作者
Author: savorw 时间: 2022-8-18 10:24
“亚克力开放式机箱￥68（略奢侈，本来打算用鞋盒的）”，真是开眼界了。
省钱是一方面，估计用机箱的话，放的地方都没有。楼主是做实验的？计算条件如此之差
但如果却做出好工作来真是令人配服的。

作者
Author: wxsxjj 时间: 2022-8-19 13:35

savorw 发表于 2022-8-18 10:24
“亚克力开放式机箱￥68（略奢侈，本来打算用鞋盒的）”，真是开眼界了。
省钱是一方面，估计用机箱的话 ...

好像是在南开朱老师组，做有机的。说实话，南开计算大环境一般。

作者
Author: harrisonmo 时间: 2022-8-20 10:15

wxsxjj 发表于 2022-8-19 13:35
好像是在南开朱老师组，做有机的。说实话，南开计算大环境一般。

暴露啦。。。确实，所以打算出国嘛

作者
Author: harrisonmo 时间: 2022-8-20 10:19

savorw 发表于 2022-8-18 10:24
“亚克力开放式机箱￥68（略奢侈，本来打算用鞋盒的）”，真是开眼界了。
省钱是一方面，估计用机箱的话 ...

其实组里也有服务器，自己折腾玩一下，主要是跑点机器学习的东西，偶尔组里计算排队用一下。自己打游戏还是用好机器的哈，自用还是不敢用垃圾的

作者
Author: Fr2021 时间: 2023-7-10 11:11

一颗赛艇发表于 2022-5-4 09:06
华南的垃圾寨板我打死都不碰的

楼主小心啊

自己组里不给买，也组了一台用了800多的双路华南，好像稳定性还可，没出啥问题，感觉这个板有概率性

作者
Author: yzh 时间: 2023-8-11 13:32
还不如上7950X，你这个太落后了，寨版不稳定，电源可能随时boom

作者
Author: WVzzz 时间: 2023-8-17 11:06
不是很懂，求大佬们指教，我看E5-2683的频率不是2.1G嘛，不是2.5G啊，还有怎么现在看二手的才80块

作者
Author: wxsxjj 时间: 2023-8-17 14:23

WVzzz 发表于 2023-8-17 11:06
不是很懂，求大佬们指教，我看E5-2683的频率不是2.1G嘛，不是2.5G啊，还有怎么现在看二手的才80块

2.1GHz是基频，而且现在E5-2683 v4本身就不贵，也没啥必要捡E5洋垃圾了

作者
Author: WVzzz 时间: 2023-8-17 15:15

wxsxjj 发表于 2023-8-17 14:23
2.1GHz是基频，而且现在E5-2683 v4本身就不贵，也没啥必要捡E5洋垃圾了

那意思是超频着用？也就是所说的那个inter加速频率？

作者
Author: 孤忆梦影 时间: 2023-8-18 15:40
不懂得大爷看你这么摆，举报你挖矿

作者
Author: Graphite 时间: 2023-8-18 16:28
今年弄了台64核双路AMD 7751，192G内存，整下来6000

作者
Author: madhatter 时间: 2023-8-20 15:37
固态降价了，爱国者1t才298，内存现在也不到200，而且今天看的淘宝2696似乎一颗也是不到300。感觉除了主板应该可以提升以下，其他都不用换了，也想攒一台了哈哈

欢迎光临计算化学公社 (http://bbs.keinsci.com/)