[垃圾佬的快乐]总价不到4700的廉价32核64线程128G内存半新服务器，比组里的还快

harrisonmo

前言：虽然自己平时很少在论坛发言（因为自己计算水平一般般），只是默默看大佬们发帖。不过我对计算机硬件比较了解，也喜欢捡垃圾。
组里服务器大概13-14年买的，那时候10w+吧，我不知道是啥U，估计是Haswell架构22nm的E5-2696v3之类的吧。这台机子需要用的人很多，一直在排队。
然后为了稳定考虑，管理员不让我装ORCA和xTB(我?)，
自己最近又需要赶计算，还有一点做机器学习和编译的需求，于是我和@syx123456 组了台半二手的（末尾有图）。

垃圾佬登场！

以下为配置清单：

购买于2022年4月15号，总价￥4684.74，￥146.4/核。
自己花了两个小时拼起来，一次点亮，在不用搬砖的闲暇花了一周来配置Unbuntu下的各种东西，包括高斯，ORCA，Torque（失败了），各种驱动。
还有python下的一堆库，内网穿透啥之类的。

还有几个非必要的配件：
亚克力开放式机箱 ￥68（略奢侈，本来打算用鞋盒的，但被实验室安全员发现然后训斥了一顿，只能买个架子）注意e-ATX机箱很重，约7-8kg，建议买开放式机箱或者机架式服务器机箱。
USB无线网卡, 螃蟹卡811AC 650M ￥35。大家如果要买，注意买150M的。卖家说Ubuntu免驱的（不用Cent OS的原因），但650M的居然不！免！驱！卖家还不知道！官方驱动居然过不了编译(下辈子都不买垃圾螃蟹卡了)，最后自己去Github找一个驱动编译，浪费时间。

从师兄那里借的坏键盘，顺手修好了，免费。
HDMI诱骗器，这个用于无屏幕开机（我买的主板没有集显），我以前买了不少，大概￥4一个吧。

以下为对硬件的评价，不感兴趣的可以跳过。

CPU：本来想买E5 2666v3的，但觉得性能太辣鸡了，22nm还费电。
就上了Intel志强E5-2683v4, 最近的大船洋垃圾，初代14nm，Broadwell架构，与酷睿5代一个架构(不常见，桌面端没有五代，恰好我的Macbook Air2015就是这个架构的)。
16C32T，主频比较低，单核睿频3.5GHz，全核睿频2.5GHz，支持AVX2, TDP120W，7.5W/核(替老板省电)。
到手的cpu顶盖有孔，但上机完全正常。440一颗是真的便宜，店家还给一年保修，不过我从来没见过CPU坏掉的。(最多针脚断的)
内存：三星的DDR4 ECC 2400 16G*8，没啥好说的。
主板：华南e-ATX寨版X99-F8D，垃圾佬的豪华选择，CPU供电和南桥都有很好的散热。注意仅支持DDR4服务器内存，最高2400MHz。扩展性良好，4个USB3.0，4个USB2.0，可拓展出2个USB2.0，双千兆网口，一个M.2 NVME，一个M.2 SATA，10个SATA3，三个PCIe*16插槽，带debug液晶显示器，自带装好的开机和重启键。电源供电仅有6+6，不过咱也不是顶级U，完全够用。一手主板就不考虑刷鸡血BIOS了，虽然好像也刷不了。二手主板便宜个一百左右，那就没啥必要买二手了，官方还有三年保修。
硬盘：支持国产，特别是高性能高性价比国产！TiPlus5000无愧于PCIe3.0硬盘之王的名号，还是单面TLC颗粒，发热很低。全盘SLC模拟，接近装满会大幅降速，要注意。矿老板认证的高质量硬盘，覆写超强，xstacking属实强！机械暂时用不着，以后再装。
电源：90元还要什么自行车！（快递费12）台式机电源一般不敢买二手，怕炸，不过服务器问题不大，24+8+8相供电，如果600W满载特别吵，但咱算了功率，整机满载刚好在电源满载的60%左右，既保证了安全，转换效率还高(80+)，实测噪音约40分贝，因此我没丢机房，直接扔在实验室里。
散热器：六热管双风扇，CPU压感冒了。
亮机卡：扫雷不卡。

性能测试：
理论性能：
测试在windows下用图吧工具箱进行，linux我也不知道咋侧比较好。
双路CPU下实测：
Cinebeech R23 单核642，多核24000，比例31.8(单核睿频只有2.9GHz，这颗U的windows单核调度稀烂)，作为对比i9-11900K为16211，i9-12900K为27472(来源：cpu-onkey)
单烤FPU温度62摄氏度，风扇转速和功耗读的不准，用向日葵插座测出整机的功耗约400W，很节能。
显卡也就图一乐。
内存测试：没记录，挺常规的，延迟52ns，带宽忘了，反正比不上自己用的高频DDR4。
硬盘测试：致态TiPlus 5000 1T， 连续写3600M/s，连续写 2800M/s， 4k随机读35M/s，随机写25M/s，不愧为顶级国产PCIe3.0 SSD！满载测试仅52度，强！

非常粗糙的性能实际测试：
我拿两台服务器(一台学校公用，一台组里)和自己装的服务器用G09跑了一个H-Bpin的opt freq，使用8核16GB内存，级别为ωB97XD/6-31G*。

揭晓结果：
19年组装的学校服务器跑了8分半，组里的跑了17分钟，我们组装的只花了7分40秒，垃圾佬大胜利！
(其他两个服务器是满载的，我们的只跑了一个任务，有点耍赖，也占了超线程的优势，后续常规任务结果跟学校公共服务器类似)
intel挤牙膏石锤！到现在都没出10nm的服务器CPU，这不得被AMD干爆(AMD,Yes!)
！做DFT计算AMD会遇到各种神奇的问题，还是尽量用英特尔非异构CPU（这个也已知有bug），比如G16 B.01 之前的版本无法正确识别AMD的AVX2，从而会报错。

最后老板让我们放通风橱里（怕炸?），已经开始满载运行了。

满载三天平衡下，电源约50度，CPU稳稳62度。

总结：总价￥4684.74，￥146.4/核，32C64T，128G内存，1T高性能固态，性价比超高，高故障率器件也避开了二手或者咸鱼。如果用8核16GB内存投任务刚好8个，可以满足日常计算需求。如有需求可自行安装GPU(PCIe3.0*16足以安装当前绝大多数GPU)。14nmCPU省电不过时，运算速度尚可。

本人水平有限，犯错在所难免，欢迎各位点评指正！

牧生

如有有一件你担心会发生的坏事，那么这件事一定会发生。
你贴的那张纸，反而会引起有人注意，然后手贱要去关电源

harrisonmo

牧生 发表于 2022-4-28 16:13
如有有一件你担心会发生的坏事，那么这件事一定会发生。
你贴的那张纸，反而会引起有人注意，然后手贱要去 ...

第一天就差点被检查的大爷关了

syx123456

居然真有人回复这个帖子
吐槽一下orca这东西算的是快但是会莫名其妙报诡异错误，有时候别人装点东西就能让它崩掉
用nohup sh orca.pbs &提交任务的时候有可能会报诡异错误：
ORCA finished by error termination in SCF
Calling Command: mpirun -np 8  /home/mqk/soft/orca-5.0.3/orca_scf_mpi ly-pt-13-s-scan.gbw b ly-pt-13-s-scan
[file orca_tools/qcmsg.cpp, line 465]:
  .... aborting the run
用bash提交目前还没崩。不知道是什么问题

小墨

学长，给孩子穿个衣服吧，本来就没给孩子吃啥好吃的。

chands

赞动手能力。建议这句话高亮：”从师兄那里借的坏键盘，顺手修好了，免费“。如果是我，顺手扔了。。。。

abin

我有提供Copy+Paste方案, 自动安装SLURM的工具, hpc4you toolkit solo.
如有兴趣, 可以查询, https://gitee.com/hpc4you/hpc


前几天以为不知名网友微信问我,
预算10万, 想要360核心, 1280GB内存. 只要跑Gaussian, ORCA.

我说 你买2686v4之类的淘宝处理器, 要18核心, 谁便宜买谁的.
10台18核心双路+机柜+硬盘+网络配件, 10万应该能搞定.
然后被鄙视, 你居然给我拆机旧货.....

我无语, 其实我想说, 5000人民币, 去4S店, 买个精致的车模都不够呢...想哈法拉利呀...

对于不能实现源码编译优化的应用, 比如ORCA, Gaussian等,
使用v3/v4等“垃圾”处理器, 性价比还是很不错的.

harrisonmo

小墨 发表于 2022-4-28 16:24
学长，给孩子穿个衣服吧，本来就没给孩子吃啥好吃的。

我才大三呢，不一定是你学长
机箱？没用鞋盒不错了，开放式机箱+通风橱散热贼好，不像机房需要空调散热。

红米饭1234

穿个衣服

abin

syx123456 发表于 2022-4-28 16:22
居然真有人回复这个帖子
吐槽一下orca这东西算的是快但是会莫名其妙报诡异错误，有时候别人装点东西就能让 ...

试试我提供的可执行ORCA 文件，
会无视任何已经有的设定……
应该能正常运行。
签名链接中自己找吧……

小墨

harrisonmo 发表于 2022-4-28 16:36
我才大三呢，不一定是你学长
机箱？没用鞋盒不错了，开放式机箱+通风橱散热贼好，不像机房需要 ...

那差不多，我比你老一岁。看到通风橱了，想起以前大二我也使用通风橱降温，，那时候任务多，天气热，学院不让晚上开空调给机箱降温，于是乎我把机子搬到有机实验室通风橱里让他晚上跑，第二天早上去下载结果。

wypkdhd

说真的，X99平台我一直很看好的，但是如果我用来跑vasp，我还是比较倾向于14nm 的skylake，搞ES的cpu也能用。毕竟指令集加成效率高。

kekexili_08

你那的安全大爷还行。 我这，估计要贴封条。

biogon

买v4还不如v3，v3能打鸡血，用起来可能比v4还快
这个华南寨板不如买2U的准系统，还便宜，内存更是用2133就够了，每条只要180，这么搞下来能给你省起码六百吧

biogon

wypkdhd 发表于 2022-4-28 18:02
说真的，X99平台我一直很看好的，但是如果我用来跑vasp，我还是比较倾向于14nm 的skylake，搞ES的cpu也能用 ...

8124m已经900了，真别用es了