南叔装机小记——第四篇（上集）：首次全某东装集群

tomwong4253

我阿南又来装只因啦！

距离上次作业贴又双叒叕过去两年多了，就在前不久，居然阴差阳错摸到了一点小钱。尽管相比E佬（本站Entropy.S.I）或者a佬（本站abin）这些大佬们手头的预算和用的机器，我这个总预算也就只值一个集群一两个配件的价钱。霸特，就算钱再少，领导的要求和想法却一点都不会少。哎，钱这东西，想多点没有，想少点，那干脆没你用。反正要都要来了，蚊子腿也是肉，硬着头皮上吧。


---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1. 硬件选择和购买
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

先确认预算，仅有45000元，这个预算下做MD或者DL什么的带高端GPU的设备是想都别想了，何况还想挤出两块3060 DUG 12G给之前展示过的的GPU集群加一点算力。剩下能够购置其它设备的钱也就不到40000了。只能考虑做Gaussian，ORCA或者xtb这种纯CPU的运算，硬件主要还是选择消费级硬件即7950X就好。

这次的采购我这次联系的经销商全程走某东采购这些硬件，并帮我打理报销和发票这些事情，等各个配件来之后一起送来，我自己组装和测试。

最终定的配置如下

计算node（同配置共四台）：
==================================
【CPU主板】AMD R9 7950X盒装+微星MAG B650M MORTAR WIFI套装
【散热】利民PA120 BLACK AGHP3.0。
【内存】光威64GB（32GB*2） DDR5 6000MHz（海力士adie）。
【nvme固态】致态 长江存储 512GB nvme PC005
【sata固态】致态 长江存储 256GB SATA SC0001
【机箱】先马平头哥matx mini小机箱
【电源】振华HG 750W 全模组
==================================

其它部件：
==================================
【交换机】TPLINK 8口企业级 2.5G TL-SH1008
【UPS】 台达N-3K 3000VA/2700W 在线式不间断电源
【杂项】sata线，超六类网线，插座等。
===================================

额外购买（不在这套集群内使用）：
==================================
【GPU】耕升3060 DUG 12G 两块
===================================

以上合计：44800软妹币。

控制+存储node（大多是已有的老部件，约等于免费）
==================================
【CPU】i5 8400
【散热】九州风神玄冰400。
【主板】ASUS B360MK。
【内存】海盗船8GB*2 DDR4 3000MHz。
【sata固态1】三星850EVO 850 120GB
【sata固态2】致态 长江存储 256GB SATA SC0001
【机械硬盘】希捷EXOS 企业级4T
【网卡】TPLINK 2.5G PCIE 网卡
【电源】安钛克BP600P 600W
===================================

关于选用以上配置的一点说明：

1. 消费级电子产品，某东的售后还是可以的，这次仍是主要的自主采购流程，我就直接请经销商走的某东，虽然经销商也不是专业卖计算机的，但他们对某东也不陌生，到货拿回来充分测试，如果有故障，直接走售后挺方便。

2. E佬之前有很多帖子包括回复都提到了，随着CPU制程的提升特别是IPC的提升，原本V3 V4系列的性能基本上被新的CPU甩到了身后，因此V3 V4系列的CPU不建议再买了，何况主板也难找到新的，到时候麻烦可能会比较多，就算钱真的少得不得了，哪怕买个7000系配个丐板，缩一缩存储什么的，性能也比V3 V4要好不少。

3. 有关网络的问题，一个是这套设备确实不多，将来撑死也就扩到6-7个node；另一个是有关什么IB网络配置之类的高端操作，肯定不是我这个技术还停留在上世纪90年代的二把刀能搞定的。至于10G，主要是看万兆的设备特别交换机在某东上不太便宜，也怕自己了解不够，因此网络我还是选的2.5G。

4. 这套消费级配置有个最大的隐患，就是截至发帖时（2023年8月2日），锐龙7000系的CPU和DDR5的高频内存之间的兼容性实在是蛋疼。随手一搜就可见大把的用户反映7000平台下DDR5内存超频各种崩，且不说手超了，就算只是开EXPO或A-XMP都经常不能稳定运行，甚至我这边出现了开EXPO能在BIOS设置界面中卡死的问题，极其抽象（我一度以为是内存坏了，替换了一下发现问题依旧）。不过7月底微星发布了测试版BIOS，据说提高了EXPO超频的稳定性。各位如果遇到类似的抽象问题时请勿惊慌，请先更新BIOS。


---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
2. 硬件安装
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

控制+存储node是现成硬件改的，搬个机箱换好硬盘就直接能开了，没啥可装的，主要是计算node的组装。

先来个全家福：

又有一吨的盒子要拆了，因为四台是一样的，就以一台为例了：


CPU特写：
   

微星的B650m板子，用料一直都还可以，不过注意从这代开始CPU是双8pin的（电源不要买的太缩了，正所谓缩啥别缩电源）：


一阵拆拆拆and装装装：
   

利民的散热个头真是大，我这小手握着都不容易，不过鳍片做工比“滴血认亲400”要平滑多了，装好以后有种“主板装散热上”的感觉：
   

小细节，NVME盘是往左边插的：


装好电源。理线真的不是我的强项，直接盘丝洞了（捂脸）。CPU电源线走背线的话真的感觉有点短：
       

装好机箱盖子，安装完成啦：


最终所有计算机装好并且放到简易架子（购自某宝）上的样子：



---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
3. 硬件设置
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

注意：7000系引导灰常慢，我一开始一度以为机器没点亮。。。

作为消费级硬件，CPU和内存是都有超频的能力。不过我考虑到，一是目前这个配置应付我的体系速度上勉强还能接受，二是上面说了7000系目前确实暴露出和DDR5内存特别高频内存以及B650m的BIOS三者八字不合不少问题，三是超频这块我的经验也不是很丰富，于是我CPU就默频运行，让它自己睿频去了。

说回内存的问题，如上所述，按照EXPO设置直接超频6000MHz理论上是稳的，但我的四台机子装好之后有两台都出现了EXPO超频直接卡死，甚至有一台A-XMP超频都不能稳定的情况，替换内存并不能解决问题。后来发现可能是兼容性的问题，微星BIOS专门有个新版本（2023年7月底）说是提高EXPO超频稳定性，应该能解决这个问题，速速更新BIOS。

我内存买的是海力士adie颗粒的，E佬提过微星板子对海力士adie有优化，其实指的是更新BIOS之后有一个选项High Efficiency Mode，开启之后有Tightest，Tighter，Balance和Relax四个选项，字面意思是在EXPO的基础上收紧时序以提升内存性能。考虑到目前坑爹的兼容性，我在EXPO设6000的情况下该项直接设置的Tighter，就不搞那么极限了。UCLK我则是直接搞成同步了，免得一不注意分频了。

先简单装了个Win10烤了下FPU（图忘记保存了）。女马口牙，CPU直接给我干到96度。我一度以为散热忘了撕膜，又拆开检查了一下。后来问了问才知道，锐龙7000系特别是7950X为了性能，默认电压给的巨TM高，好在新版的BIOS的PBO选项里有温度限制模式（Thermal Limit），根据一众测试性能损失是不太大的，据说原理就是降了点电压，我给设到85度了。计算端的超线程我是习惯关闭的，因此SMT我也给关了（注意社长有过专门的测试，超线程开着是没有坏处的，此处仅是个人配置后续集群管理软件习惯）。


---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
4. 系统安装
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

与之前一样，我选用的仍然是轻量级的lubuntu，其中一个原因是我们单位强制使用wifi，很多无线网卡是ubuntu免驱的，rocky等系统还要额外搞驱动，懒虫上身也就没搞，当然计算node用的有线网络与学校网络隔离，但为了一致我也就全装lubuntu了。

时隔多年，lubuntu20.04也从新系统变老系统了，考虑到我GPU集群上装的还是20.04，我就做了启动盘给新设备装20.04，结果启！动！又！黑！屏！，应该是20.04内置的驱动无法正确识别7000系的核显导致的问题，只得换装22.04。

磁盘依然是自己分区，由于这次是正儿八经的集群，需要对控制端和计算端进行不同的分区，参考a佬的集群配置说明（https://gitee.com/hpc4you/hpc），我是这么分区的。

计算端：
256GB的SATA固态分5GB的/boot，分2GB的linuxswap，分300MB的/boot/efi（分区类型必须fat32，且需要打上boot的flag，否则没法UEFI启动），剩下的空间全分给/
512GB的NVME固态预计作为苦力盘，直接格式化成ntfs备用。

控制+存储端：
256GB的SATA固态分区方法同计算端。
120GB的SATA固态全部分给/opt
4T的机械硬盘全部分给/home

文件系统选择方面，除了/boot/efi必须fat32，苦力盘我习惯选ntfs之外，其它盘我一律用的ext4。a佬教程里用xfs可以提升一定的性能。

这里重复一下swap的事情，很多网上帖子说一定要分到物理内存的两倍。那是严重的老黄历了，毕竟现在以服务器设备为基础的计算设备动不动都64G往上的内存，个别胖节点甚至上T的内存，难道还得占个固态硬盘专门做虚拟内存？实际上根据Redhat的手册，物理内存够大的情况下，swap弄个2G左右够了。装好linux之后记得把swappiness参数改成10，这个数值默认有60，运行高内存任务时计算机可能会傻X一般地先用虚拟内存而不是物理内存。

a佬的教程中说选择时区的时候最好选择默认纽约时区，装好系统再用命令改回上海时区，我用lubuntu在安装时直接选择上海时区也没啥大的问题。

装好之后，先本地运行一下Gaussian16，使用397测试一下，结果如下：

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
5. 总结与展望
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

本次设备采购和设置以及安装内容较多，因此分成上下两篇来写，本篇目前只到装系统这一步。后续的网络设置、nfs设置、nis设置、ssh设置和slurm设置我将在下半部分写。

tiandikuoyuan

Entropy.S.I 发表于 2023-9-11 02:17
没必要用X3D。用7950X，尽可能把内存带宽弄高就行了。最大的瓶颈是内存带宽。主板一般用B650就行了。不过 ...

多谢建议，等等肯定便宜，这不是等不了吗

Entropy.S.I

tiandikuoyuan 发表于 2023-9-10 22:08
请问下是建议买7950X还是7950X3D，3D版本要贵1000多，如果考虑长时间运行的话7950X超频也不会超太高， ...

没必要用X3D。用7950X，尽可能把内存带宽弄高就行了。最大的瓶颈是内存带宽。主板一般用B650就行了。不过现在买7950X并不合适。至少应该等到双十一，Intel新牙膏（RPL-R）出来后7950X必定会再降一波价。

tiandikuoyuan

Entropy.S.I 发表于 2023-8-4 21:18
两个CCD分开我也测了，

有3D缓存的179s，无3D缓存的190s

请问下是建议买7950X还是7950X3D，3D版本要贵1000多，如果考虑长时间运行的话7950X超频也不会超太高，主要用Gaussian, Orca; 主板需要购买X670吗，还是B650也够用？谢谢

lonewolf659

哈哈，好久不见你更新啦

lonemen

南叔太牛了！祝贺算力又增加了

yzh

楼主可以的，这个一直是我想装的，3年后，这些东西至少还有6折多的残值，你买的志强还有EPYC的这些三年后贬值厉害，消费级平台性价比高。

chrinide

Entropy.S.I 发表于 2023-8-4 21:18
两个CCD分开我也测了，

有3D缓存的179s，无3D缓存的190s

这个结果太有意思了，高主频完全没有大L3有用

Entropy.S.I

chrinide 发表于 2023-8-4 20:02
大L3竟然有接近10%左右的gain？!

两个CCD分开我也测了，

有3D缓存的179s，无3D缓存的190s

有3D缓存的全核频率4.9-5.0GHz，无3D缓存的全核频率5.3-5.4GHz

chrinide

Entropy.S.I 发表于 2023-8-4 00:26
7950X3D + 2*16GB DDR5 6000MT/s（未优化时序）耗时107s

大L3竟然有接近10%左右的gain？!

Entropy.S.I

ggdh 发表于 2023-8-2 23:48
4.5万能装出5个节点的集群是我万万没想到的。。
我掏出我的7742 和7T83单机跟你的集群pk：
7742：同时跑4 ...

7950X3D + 2*16GB DDR5 6000MT/s（未优化时序）耗时107s

tomwong4253

ggdh 发表于 2023-8-3 22:11
我算了性价比的（任务时间*价格），如果光跑小任务，双路7742 （3W4)  / 7B12 (3W) / 7B13 (3.6w) 的性价 ...

嗯嗯，不过吧，等它慢到不适合计算使用的时候，可能什么9代锐龙/15代INTEL/DDR7什么的都出来了。拆做办公也就是个说辞吧。。。话说回来，tizhi内混日子嫖设备，主打的就是一个时机，赶上合适的时候，说不定重买一套都可能，赶不上合适的时候，V2+DDR3内存都只能凑合用。。。

我觉得，平时多看看大佬们的测试，多去经销商渠道那边跑跑配置，一有机会更新，就得迅雷不及掩耳盗铃之势赶紧下手让生米煮成熟饭，否则夜长梦多，到时候领导突然给你说，啊，之前给你说过的东西，我们得再考虑考虑。。。寄。。。

ggdh

tomwong4253 发表于 2023-8-3 07:16
从极限性能或极致性价比角度，装双路二代EPYC或者单路EPYC三代确实优于多台7950X，但主要有几个考虑：

...

我算了性价比的（任务时间*价格），如果光跑小任务，双路7742 （3W4)  / 7B12 (3W) / 7B13 (3.6w) 的性价比比你略高，双路7J13 （4W1）性价比跟你的基本一样，其他的各种配置性价比应该都不如这几个了（社长推的7R32没货涨价了）。不过你同时跑4个小任务速度还是最快的。所以性价比方面并不差。最大的遗憾是不能集中4台力量算大任务。。。
你这个集群最后可以拆下来当办公电脑的思路确实不错啊， 哈哈

tomwong4253

exity 发表于 2023-8-3 15:26
我试过2台服务器，一台192GB 一台256GB，然后高斯调用的核心也尽可能少了，但是还是看着SWAP一点一点被吃 ...

如果其它占内存的任务正常而单单FC光谱崩swap，也有可能就是瓜斯的程序本身问题。
控制存储node大多都是老部件，SATA是老机器上留下来的三桑的固态，MLC颗粒舍不得扔啊。

exity

tomwong4253 发表于 2023-8-3 14:21
linux的swappiness默认值有60。可以粗略理解为当物理内存使用超过100%-60%=40%时，就开始积极使用swap空 ...

我试过2台服务器，一台192GB 一台256GB，然后高斯调用的核心也尽可能少了，但是还是看着SWAP一点一点被吃满，只有那台老服务器成功了，具体也不知道啥情况。
只有计算FC光谱的时候遇到过，其他都正常，swap 2G也没有任何问题。

PS：还有为啥SATA这么小，是有啥说法吗？ :D