南叔装机小记——番外篇：六路直插矿板MD计算节点

tomwong4253

哈喽大家好！我是阿南叔，很久没有发作业帖了，这次更一个已经有点久远的番外篇。

上一帖之后过了一段时间，又拿到了一点经费，其实就是把原先被砍掉的经费补上了，那么可以再搞一波购置了。除了在上一帖的基础上增加两台节点之外（配置基本相同，就不写了），还增加了两块3060 12G（没买40系是因为之前预算写的设备增加就是3060，没办法）。这样手头已经有六块一样的显卡了。我就考虑找一个直插的矿板，把手头所有的GPU都整合起来，弄一个能够把六个GPU整合成一台设备的平台，统一的做MD模拟，解放掉原来拿10400凑合的电脑留作他用，同时免除新增加的GPU又额外增加三大件和电源机箱什么的，导致本来有限的放置空间更加有限。

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1. 硬件选择和购买
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

这次的东西大多都是淘垃圾找特价，直接走的某宝，配置如下

==================================
【CPU】2670v3 2.3G 12核 两颗
【主板】ALEO双路×99六卡直插 AX-X99-6PLUS
【散热】冰曼4热管CPU X99 2011
【内存】三星DDR4 2133MHz 8G*8。
【显卡】耕升3060 DUG 12G （已提前购置）
【sata固态】Lexar-64G msata
【机箱】（主板自带）
【电源】单路2U 2400W 巨龙风暴
【其他】8pin电源延长线若干
==================================

具体总花费因为太过零碎而忘记了，大概不到三千（除了显卡）吧。主要是有条件开票的地方价格会有些不易讨论，资深垃圾佬请勿笑话啊。

以上配置的一点心得：

1. 如果是从头开始购买，一定确认好自己是不是确实只用于MD等对PCIE带宽不算太敏感的计算，毕竟双路V3 V4现在已经是洋垃圾里的老旧品了，总PCIE个数只有40+40=80条。这种板子分到六条PCIE插槽上一般是四条×16和两条×8.对于gmx这类需要CPU和GPU算力相对匹配的程序，其中两块GPU走在×8的带宽下，性能有点损失是肯定的。不过如果只是常规的MD，其PCIE带宽要求其实没有做AI类的工作那么离谱。凑合凑合也能用。

2. 买这种主板和机箱一体的东西，一定跟商家确认好物流，最近听说过一些物流把机器整去世的消息。

3. 买到手看出来ALEO这种带机箱的板子体型比看起来要长不少，而且不同家做的板子既有横放的（放在地上），也有纵放的（放在机架上），各位注意预留的空间是否足够。另外机器一般是建议同时买自带风扇的，有暴力扇和静音扇两种。我选的是静音扇，但是实际上听起来跟暴力扇差别也不大，或许这就是他们认为的“静音”吧。各位准备往办公区域放的请三思。

4. 看了一圈这类矿板的供电，多数都是纯12v的接口。但少部分主板确实是有普通的24pin主板供电接口的。而另外商家卖的这种单路“矿电”（电源）一般都是单路12v，也就是这些电源没有5v和3.3v的输出，那样的单路电源全部统一是显卡那种8pin接口，不能插普通的24pin，这样会导致这类主板无法点亮，新手注意别买错了电源造成尴尬。另外，一般这些矿电的电源线也不会非常长，而这些机箱个头却都不小，位于角落的CPU供电或者个别插在边上的显卡会够不到，因此提前准备几条8pin公对母电源延长线还是很必要的。

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
2. 硬件安装
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

头一次玩矿板，边摸索边进行的。图中那条横着的梁是压电源线用的，旁边螺丝可以拆下。

随便淘来的2670v3，也就是图个特价+核数不算太少+PCIE通道，性能基本上不够看了。


装好CPU之后是这样子。


这个就是上面说的位于角落的CPU供电，矿电电源实在不够长，就是这玩意让我又多等了几天电源线。


内存全家福。


这个就是上面说的主板供电，上面一竖排白色的是电源输入，根据商家描述随便插其中4个就可以，下面一竖排应该是输出，矿电的12v还是很多的，一般用不到下面这些。


这是m.2和msata的硬盘位，装任意一种固态都可以，考虑到也就系统用，直接弄一个msata就可以了。


随便拿了个显卡先装系统，注意这种矿电是打开电源背后的开关就自动加电了，所以也没有什么所谓的“电源开关按钮”，“重启按钮”。


---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
3. 硬件设置和系统安装
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

这部分和前面几篇是一样的，主要就是安装Lubuntu22.04系统，配置slurm作业系统，配置其和控制节点通信等等，就不再赘述了。

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
4. 总结
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

装好所有GPU之后，用原来的体系试跑一下AMBER，和之前放在10400上凑合跑性能差别不大，基本上也就达到了目的。原来那两台10400的机器可以改做办公用机或者控制实验仪器，送给办公室同事用也算赚个人情。

mizu-bai

送给办公室同事用也算赚个人情