廉价双路服务器XEON E5-2678 v3购买及装机经历分享

tjuptz

        之前为课题组配置过一个较好的服务器，见较好双路服务器XEON E5-2686 v4购买及装机经历分享。第一次买服务器还是走淘宝，导师比较谨慎，不过相比个人还是财大气粗的。毕业之后自食其力了，可以自己花钱买了，不过更注重经费了，所以选择卢老师推荐的廉价配置。具体如我在求助：自助攒机装2060显卡后无法进入系统这个帖子里提到的。
        由于店家没有超微X10DAL-i（C612芯片组，无集显）这款了，所以配置的超微 X10DRL-I（C612芯片组，集显）。另外，自己买的RTX2060显卡和显示器，得自己装一下硬件。所以，这次遇到显示器输入在板载显卡和独立显卡间切换的问题。经过论坛各位的热心帮助，最终采用了最简单的使用VGA线连接板载显卡进行显示的方法，独立显卡仅用于计算。当然，帖子里还提到了其他方法：如主板跳线、BIOS设定等等，对于显示器有/无VGA口的朋友们可以参考。不过这里提醒一下：如果贸然更改BIOS设定，而又因独显没有驱动点不亮屏幕的话可能就得跳线或者手动重置BIOS。所以直接走硬件跳线（大不了不行再跳回来）可能是比较稳妥的方法。
        接下来就是像之前的经验帖子里的，用Rufus烧ISO格式的centos7.6启动盘、按照卢老师视频装系统、参照帖子驱动和计算程序。这里值得记录下来的是驱动和CUDA安装过程，因为双显卡下有一些坑，比如装的时候遇到X servicer error、装了nVidia driver后GNOME桌面进不去的情况等。以下过程需要联网。

主要是参照了以下三篇文章以及随时Google，但没一篇文章单独讲清楚的。
https://blog.csdn.net/xueshengke/article/details/78134991
https://blog.csdn.net/qq_34666229/article/details/82184588
https://blog.csdn.net/Happy_Sunshine_Boy/article/details/84783335
首先说明下，安装nVidia driver不会自动安装CUDA，但安装CUDA的程序包里自带了driver，所以可以尝试直接用CUDA自带的驱动。这里我没有试，但可能还是会遇到X server error。
1、预安装组件

1. yum -y install epel-release
   
2. yum -y install kernel-devel
   
3. yum -y install kernel-headers

复制代码

2、屏蔽 nouveau 驱动，在这俩文件中都添加以下内容，并保存

1. # vim /etc/modprobe.d/nvidia-installer-disable-nouveau.conf
   
2. # vim /lib/modprobe.d/nvidia-installer-disable-nouveau.conf
   
3. ...
   
4. blacklist nouveau
   
5. options nouveau modeset=0

复制代码

1. lsmod | grep nouveau

复制代码

如果没有显示相关的内容，说明已禁用。PS：有朋友反馈说创建这俩文件还是不行，需要做以下步骤

1. vim /etc/default/grub
   
2.      "GRUB_CMDLINE_LINUX"中添加 rd.driver.blacklist=nouveau nouveau.modeset=0
   
3. grub2-mkconfig -o /boot/grub2/grub.cfg

复制代码

注：有的教程接下来做了initramfs 镜像备份，我觉得没用

3、重启，之前是图形界面，在登录那按CTRL+ALT+F2进入命令行。一般地，可按下CTRL+ALT+F1或F2在命令行模式和窗口模式之间切换。

4、登录root用户后，切换到运行级别3

1. init 3

复制代码

5、安装nVidia driver，OpenGL与GNOME桌面冲突，千万别安

1. sh NVIDIA*.run --no-opengl-files

复制代码

重写xconfig 时 选 "no"，否则还得卸了重装

6、测试驱动，正常就是求助那篇帖子里贴了的图，还有下面这张

1. lspci |grep NVIDIA
   
2. nvidia-smi

复制代码

7、重启，登录root用户，切换到运行级别5

1. init 5

复制代码

8、在图形界面安装CUDA

1. sh cuda*.run

复制代码

在界面里取消选中driver，因为已经安装过了

9、配置环境变量，不需要具体指定 cuda 版本号，系统已经建立了一个链接 cuda -> cuda-10.2

1. # vim ~/.bashrc
   
2. ...
   
3. export PATH=/usr/local/cuda/bin:$PATH
   
4. export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
   
5. # source /etc/profile ; 使环境变量立即生效

复制代码

10、测试CUDA，类似这种版本信息

1. # cuda ; 按两下 tab 键
   
2. cudafe                       cuda-gdb                     cuda-install-samples-9.0.sh
   
3. cudafe++                     cuda-gdbserver               cuda-memcheck
   
4. # nvcc --version
   
5. nvcc: NVIDIA (R) Cuda compiler driver
   
6. Copyright (c) 2005-2017 NVIDIA Corporation
   
7. Built on Fri_Sep__1_21:08:03_CDT_2017
   
8. Cuda compilation tools, release 9.0, V9.0.176

复制代码

注：如果是图形界面CUDA时带着驱动装，记得在options里选中第一个


之后就可以按照帖子安装其他程序了。可以在root下安好，然后在个人用户（给管理员权项）下用，保险一点吧。
感谢帮助购机的朋友，也感谢社长及论坛朋友给予的帮助。

土拔鼠

确实装机的时候会碰到很多问题 给个赞

shalene

还是感觉配3900X加2060更好，更便宜更省电，搁家里都行。

abin

温馨提示：
如果你在字符界面使用Linux，就不会有那么多麻烦。

提供一个非常便捷的CUDA全套安装方案。 B站查询用户ID abbottcn 动态里面有该方案的全文哦。 如果你需要详细解释的话。

systemctl enable cockpit.socket
systemctl start cockpit
去你的微软机器，打开浏览器访问。 如果对此有疑问，请bing.com学习cockpit能干啥？

以下所有的指令，均在微软机器上的浏览器中进行。
执行如下指令：
dnf -y groupinstall "Development Tools" dnf -y install kernel-headers
dnf -y install kernel-devel
dnf -y distro-sync
dnf -y install libglvnd-devel elfutils-libelf-devel
grub2-editenv -\
set "$(grub2-editenv - list | grep kernelopts) nouveau.modeset=0"
reboot

机器会重启，请勿大惊小怪。

在微软机器上，点击确认，重新连接。
而后打开终端，
输入，
systemctl isolate multi-user.target
bash NVIDIA-Linux-x86_64-*
reboot

当然，你需要下载好cuda文件，并放在服务器上。

tjuptz

注：在centos7.6时我记得没重做 initramfs 镜像就成功禁用nouveau驱动了，但是更新到rocky8.6安装时，在第3步之前必须重做 initramfs 镜像

1. mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak
   
2. dracut /boot/initramfs-$(uname -r).img $(uname -r)

复制代码

后续没问题可以把这个备份删掉