Slurm在centos7单机上的安装经验

wood

slurm是常见的一种作业管理软件，这里只记录在一台8核心、2颗GPU的centos7的PC上的安装过程。

#操作步骤依次如下
################################
yum -y install hwloc-devel libevent-devel
yum -y install munge munge-libs munge-devel
yum -y install install s-nail
/usr/sbin/create-munge-key
systemctl enable munge --now

#解压并编译安装
#下载地址为：https://pan.baidu.com/s/1auvTvgqS10G6ibBLhd4PCw 提取码: 1209
tar -xvf  pmix-4.2.3rc2.tar.gz  && cd pmix-4.2.3rc2
./configure && make install -j $(nproc)  && cd /opt

#slurm解压并编译安装
#下载地址为：https://pan.baidu.com/s/1yr6eZzbA6wxohVWYjWgYrw 提取码: 1209  
tar -xvf  slurm-22.05.8.tar.bz2  && cd slurm-22.05.8
./configure && make install -j $(nproc) && cd /opt

#输出机器的配置信息
find / -name slurm.conf && find / -name gres.conf  && hostname  && lscpu  && free -m  &&  nvidia-smi

#配置邮箱，用以发送作业状态的邮件
#vi /etc/s-nail.rc
#set from="你的qq邮箱"
#set smtp="smtps://smtp.qq.com:465"
#set smtp-auth-user="你的qq邮箱"
#set smtp-auth-password="qq邮箱授权码"
#set smtp-auth=login
#测试，看看qq邮箱是否得到消息
#echo "邮件内容" | s-nail -s "邮件主题" 你的qq邮箱地址


#配置slurm
在/opt/slurm-22.05.8/doc/html/configurator.easy.html 有自动生成的网页，拷贝一份到本地，用浏览器打开，填写相应信息
        ClusterName、SlurmctldHost、NodeName 都填hostname的值
        CPUs、Sockets、CoresPerSocket 根据lscpu 填
        RealMemory 根据free -m 填
        SlurmUser 方便起见用root,生产环境建议用权限小的用户
        Default MPI Type 可不选，这里选pmix
        Process Tracking 这里选LinuxProc
        Resource Selection 选Cons_res  \ cons_tres
        SelectTypeParameters 选CR_Memory
        Job Accounting Gather 选Linux
然后点击sumbit 得到一份配置文件，如下方所示的，后写入到/usr/local/etc/slurm.conf

vi /usr/local/etc/slurm.conf           
#这是一份参考的配置文件
#############################################################
# slurm.conf file generated by configurator easy.html.
# Put this file on all nodes of your cluster.
# See the slurm.conf man page for more information.
#
ClusterName=VM-0-5-centos
SlurmctldHost=VM-0-5-centos
#
#MailProg=/bin/mail
MpiDefault=none
#MpiParams=ports=#-#
ProctrackType=proctrack/linuxproc
ReturnToService=1
SlurmctldPidFile=/var/run/slurmctld.pid
#SlurmctldPort=6817
SlurmdPidFile=/var/run/slurmd.pid
#SlurmdPort=6818
SlurmdSpoolDir=/var/spool/slurmd
SlurmUser=root
#SlurmdUser=root
StateSaveLocation=/var/spool/slurmctld
SwitchType=switch/none
TaskPlugin=task/affinity
#
# TIMERS
#KillWait=30
#MinJobAge=300
#SlurmctldTimeout=120
#SlurmdTimeout=300
#
# SCHEDULING
SchedulerType=sched/backfill
SelectType=select/cons_tres
# LOGGING AND ACCOUNTING
AccountingStorageType=accounting_storage/none
#JobAcctGatherFrequency=30
JobAcctGatherType=jobacct_gather/linux
#SlurmctldDebug=info
SlurmctldLogFile=/var/log/slurmctld.log
#SlurmdDebug=info
SlurmdLogFile=/var/log/slurmd.log
#
# COMPUTE NODES
#NodeName=VM-0-5-centos CPUs=8 RealMemory=39469 Sockets=1 CoresPerSocket=8 ThreadsPerCore=1 State=UNKNOWN
PartitionName=debug Nodes=ALL Default=YES MaxTime=INFINITE State=UP
GresTypes=gpu
NodeName= VM-0-5-centos Gres=gpu:2  CPUs=8  RealMemory=39469 Sockets=1 CoresPerSocket=8 ThreadsPerCore=1 State=UNKNOWN

#GPU设备配置#(对于此设置抱有疑问，我的测试中只能启用其中一块GPU，没有找到两颗GPU同时计算一个作业的配置与脚本设置，在此求教大佬！）

vi /usr/local/etc/gres.conf
#####################################################################################
NodeName=VM-0-5-centos  Name=gpu File=/dev/nvidia0
NodeName=VM-0-5-centos  Name=gpu File=/dev/nvidia1

#配置
cd ./slurm-22.05.8//etc/ && chmod 755 *.service && cp *.service /etc/systemd/system

#开机启动
systemctl enable slurmctld --now
systemctl enable slurmd --now

#测试，显示主机名
sinfo && srun -n 2 hostname

#节点信息查看
scontrol show node

#作业脚本run.sh的编写
################################################################
#!/bin/bash
#SBATCH --job-name example               # 任务名叫 example
#SBATCH --time 1-1:00:00                   # 子任务 1 天 1 小时就能跑完        
#SBATCH -o test.out                            # 屏幕上的输出文件重定向到 test.out
#SBATCH -N 1                                     # 作业申请 1 个节点
#SBATCH --ntasks-per-node=1              # 单节点启动的进程数为 1
#SBATCH --cpus-per-task=8                 # 单任务使用的 CPU 核心数为 8
#SBATCH -t 1:00:00                            # 任务运行的最长时间为 1 小时
#SBATCH --gres=gpu:2                       # 单个节点使用 2 块 GPU 卡【很奇怪这里，在已有的计算里只拉起了一颗GPU进行计算，问题？】
#SBATCH --gpu-bind=none
#SBATCH --mem-per-gpu=7611
#SBATCH --gpu-bind=none

export I_MPI_ROOT=/opt/intel/oneapi/mpi/2021.1.1
export MPICH_GPU_SUPPORT_ENABLED=1   # needed for CUDA-aware MPI supportexport JDFTX_LAUNCH=""
export JDFTX_SUFFIX="_gpu"
#export JDFTX_MEMPOOL_SIZE=7611  # adjust as needed (in MB)
export SLURM_CPU_BIND="cores"
export PATH="/opt/build:$PATH"

#srun  （进行作业计算的软件）
srun   jdftx_gpu   -i Ion_opt.in > Ion_opt.out

#测试
#某个测试作业的输出报告gpuInit: Found compatible cuda device 0 'Tesla P4'gpuInit: Found compatible cuda device 1 'Tesla P4'
gpuInit: Selected device 0
Resource initialization completed at t:      0.46
Run totals: 1 processes, 8 threads, 1 GPUs

abin

https://gitee.com/hpc4you/hpc/blob/master/doc/README.md
这里的PDF文档，
有一章节内容是，
Slurm 自我修养，里面有好多参考资料，
可能有帮助。

azurebayer

我在Ubuntu上装的时候，还需要改一些文件夹的权限。Centos不存在这个问题么？

交大小周

老师您好，感谢您的安装教程，按照网上其他安装方法按了2天都没按上，您这个方法目前是最顺利的，之前许多错误都没有出现了，但是在测试sinfo的时候，出现了如下错误，请问这个怎么解决呢？谢谢
sinfo
srun: error: Unable to allocate resources: Unable to contact slurm controller (connect failure)

[root@dafeng etc]# systemctl status slurmctld -l
● slurmctld.service - Slurm controller daemon
   Loaded: loaded (/etc/systemd/system/slurmctld.service; enabled; vendor preset: disabled)
   Active: failed (Result: exit-code) since Fri 2023-02-24 20:52:29 CST; 46min ago
Main PID: 82490 (code=exited, status=1/FAILURE)

Feb 24 20:52:29 dafeng systemd[1]: Started Slurm controller daemon.
Feb 24 20:52:29 dafeng slurmctld[82490]: slurmctld: fatal: Unable to process configuration file
Feb 24 20:52:29 dafeng systemd[1]: slurmctld.service: main process exited, code=exited, status=1/FAILURE
Feb 24 20:52:29 dafeng systemd[1]: Unit slurmctld.service entered failed state.
Feb 24 20:52:29 dafeng systemd[1]: slurmctld.service failed.

yhy98

交大小周 发表于 2023-2-24 20:55
老师您好，感谢您的安装教程，按照网上其他安装方法按了2天都没按上，您这个方法目前是最顺利的，之前许多 ...

您好，我是在启动slurmctld进程的时候出现这样的报错，请问最后解决了吗？

乐平

azurebayer 发表于 2023-2-15 12:59
我在Ubuntu上装的时候，还需要改一些文件夹的权限。Centos不存在这个问题么？

他应该是用 root 管理员账号来安装的。

很多所谓的“教程”其实忽略了很重要的细节，比如，代码前面的用户环境 [root@main location]#

luzujia

感谢大佬！我在虚拟机上安装成功了，但在相同系统的服务器上安装提示错误：[sh5util] Error 1，可能是什么原因呢

Weldingspock

乐平 发表于 2023-4-11 11:54
他应该是用 root 管理员账号来安装的。

很多所谓的“教程”其实忽略了很重要的细节，比如，代码前面的 ...

请问大佬，这个该注意什么呢

TeaNotFavorite

luzujia 发表于 2023-8-17 19:01
感谢大佬！我在虚拟机上安装成功了，但在相同系统的服务器上安装提示错误：[sh5util] Error 1，可能是什么 ...

我遇到这个报错，是因为开了conda环境，你检查一下你的环境

luzujia

TeaNotFavorite 发表于 2023-10-26 14:04
我遇到这个报错，是因为开了conda环境，你检查一下你的环境

噢噢是这样，谢谢~