集群中slurm的配置求助

秋心

各位老师好，我想在有四个计算节点的集群上配置slurm实现每个计算节点上可以运行多个计算任务并且当提交的计算任务占满了计算节点的核数时再提交的新任务会是PD排队的状态等计算节点上有足够的空余核数时才能运行，我看了不少公社上关于slurm配置的帖子，确定需要在slurm.conf的SCHEDULING部分设置，目前可以确定SelectType设置为select/cons_tres或者cons_res，但是关于SelectTypeParameters部分有好多说法(CR_core, CR_core_memory, CR_CPU, CR_CPU_memory)，我也看了slurm官网上关于这四个选项的描述，但是也比较模糊(可能是我的英语水平有问题)，所以我想麻烦各位了解的老师解答一下SelectTypeParameters部分到底应该怎么设置才能实现我的需求？

Santz

一般用CR_Core_Memory或CR_Core，我更喜欢前者加一个DefMemPerCPU设置，因为可以把内存也作为可分配资源。

CR_Core 的话每个任务默认都会申请计算节点的最大内存，除非脚本里明确指定申请多少内存。

[root@Master ~]# scontrol show config | grep -i SelectTypeParameters
SelectTypeParameters    = CR_CORE
[root@master ~]# jobinfo 13651
Name                : opt
User                : renxuan
Account             : lynpu
Partition           : batch
Nodes               : node8
Cores               : 40
GPUs                : 0
State               : RUNNING
ExitCode            : --
Submit              : 2024-10-26T15:45:11
Start               : 2024-10-28T09:56:21
End                 : --
Waited              : 1-18:11:10
Reserved walltime   :   00:00:00
Used walltime       :   01:52:01
Used CPU time       :   00:00:00
% User (Computation): --
% System (I/O)      : --
Mem reserved        : 1028000M
Max Mem used        : 2.11G (node8)
Max Disk Write      : 24.75G (node8)
Max Disk Read       : 35.55G (node8)
[root@master ~]# jobinfo 13675
Name                : Gaussian16
User                : WX
Account             : lynpu
Partition           : batch
Nodes               : node3
Cores               : 20
GPUs                : 0
State               : RUNNING
ExitCode            : --
Submit              : 2024-10-27T20:54:26
Start               : 2024-10-27T22:46:18
End                 : --
Waited              :     01:51:52
Reserved walltime   : 365-00:00:00
Used walltime       :     13:02:18
Used CPU time       :     00:00:00
% User (Computation): --
% System (I/O)      : --
Mem reserved        : 1028000M
Max Mem used        : 17.30G (node3)
Max Disk Write      : 121.08G (node3)
Max Disk Read       : 261.76G (node3)

CR_Core_Memory 的话每个任务默认会根据DefMemPerCPU调整，比如这里的设置是DefMemPerCPU=6000，其实可以设置得更小，让用户根据实际在脚本里调整内存。脚本里也可以明确指定申请多少内存，默认设置对有些任务可能会提示OOM。

[root@master ~]# scontrol show config | grep -i SelectTypeParameters
SelectTypeParameters    = CR_CORE_MEMORY
[root@master ~]# jobinfo 3823
Name                : Ab_1027
User                : zhj
Account             : zhj_bank
Partition           : cpu
Nodes               : node3
Cores               : 10
GPUs                : 0
State               : RUNNING
ExitCode            : --
Submit              : 2024-10-27T14:30:43
Start               : 2024-10-27T14:30:43
End                 : --
Waited              :     00:00:00
Reserved walltime   : 365-00:00:00
Used walltime       :     21:22:51
Used CPU time       :     00:00:00
% User (Computation): --
% System (I/O)      : --
Mem reserved        : 60000M
Max Mem used        : 94.79M (node3)
Max Disk Write      : 98.69K (node3)
Max Disk Read       : 14.65M (node3)
[root@master ~]# jobinfo 3564
Name                : Ab_1023
User                : zhj
Account             : zhj_bank
Partition           : cpu
Nodes               : node3
Cores               : 40
GPUs                : 0
State               : RUNNING
ExitCode            : --
Submit              : 2024-10-23T10:56:08
Start               : 2024-10-23T10:56:08
End                 : --
Waited              :   00:00:00
Reserved walltime   :   00:00:00
Used walltime       : 5-00:57:33
Used CPU time       :   00:00:00
% User (Computation): --
% System (I/O)      : --
Mem reserved        : 240000M
Max Mem used        : 158.18M (node3)
Max Disk Write      : 510.63K (node3)
Max Disk Read       : 16.70M (node3)

Santz

懒人方法：找几个商用超算或者试用平台直接对比看看人家的设置。

秋心

Santz 发表于 2024-10-28 11:59
懒人方法：找几个商用超算或者试用平台直接对比看看人家的设置。

好的，谢谢您。

秋心

Santz 发表于 2024-10-28 11:59
懒人方法：找几个商用超算或者试用平台直接对比看看人家的设置。

老师您好，我尝试了这四种设置，结果是能提交任务但是都不能排队，您知道是什么原因吗？附件是我slurm.conf文件，麻烦您看一下。
#slurm.conf file generated by configurator easy.html.
# Put this file on all nodes of your cluster.
# See the slurm.conf man page for more information.
#
#ControlAddr=
SlurmctldHost=node0
#DebugFlags=NO_CONF_HASH
#
#MailProg=/bin/mail       
MpiDefault=none
#MpiParams=ports=#-#
ProctrackType=proctrack/cgroup
ReturnToService=2
SlurmctldPidFile=/var/run/slurmctld.pid
SlurmctldPort=6817
SlurmdPidFile=/var/run/slurmd.pid
SlurmdPort=6818
SlurmdSpoolDir=/var/spool/slurm/slurmd
SlurmUser=slurm
#SlurmdUser=root
#SlurmdUser=
StateSaveLocation=/var/spool/slurm/
SwitchType=switch/none
TaskPlugin=task/cgroup
#TaskPlugin=task/affinity
#
#
# TIMERS
KillWait=30
MinJobAge=300
SlurmctldTimeout=120
SlurmdTimeout=300
InactiveLimit=0
WaitTime=0
#
#
# SCHEDULING
SchedulerType=sched/backfill
#SelectType=select/cons_res
SelectType=select/cons_tres
#SelectTypeParameters=CR_CPU_memory
#SelectTypeParameters=CR_CPU
SelectTypeParameters=CR_Core_memory
DefMemPerCPU=6000
#SelectTypeParameters=CR_Core
#
#
# LOGGING AND ACCOUNTING
#AccountingStorageType=accounting_storage/slurmdbd
#AccountingStoreFlags=JobComment
#AccountingStorageEnforce=associations,limits,qos
#AccountingStoragePass=/var/run/munge/munge.socket.2
#AccountingStorageHost=node0
AccountingStoragePort=6819
ClusterName=cluster
#JobAcctGatherFrequency=30
JobAcctGatherType=jobacct_gather/none
SlurmctldDebug=info
SlurmctldLogFile=/var/log/slurmctld.log
SlurmdDebug=info
SlurmdLogFile=/var/log/slurmd.log
AllowSpecResourcesUsage=YES

#
#
# COMPUTE NODES
# NodeName=clustermaster CPUs=144 Boards=1 SocketsPerBoard=2 CoresPerSocket=36 ThreadsPerCore=2 RealMemory=515457
NodeName=node0 CPUs=144 Boards=1 SocketsPerBoard=2 CoresPerSocket=36 ThreadsPerCore=2 RealMemory=488448 Procs=2 State=IDLE
NodeName=node1 CPUs=144 Boards=1 SocketsPerBoard=2 CoresPerSocket=36 ThreadsPerCore=2 RealMemory=253952 Procs=2 State=IDLE
NodeName=node2 CPUs=144 Boards=1 SocketsPerBoard=2 CoresPerSocket=36 ThreadsPerCore=2 RealMemory=252928 procs=2 State=IDLE
NodeName=node3 CPUs=144 Boards=1 SocketsPerBoard=2 CoresPerSocket=36 ThreadsPerCore=2 RealMemory=252928 Procs=2 State=IDLE
NodeName=node4 CPUs=128 Boards=1 SocketsPerBoard=2 CoresPerSocket=32 ThreadsPerCore=2 RealMemory=498688 Procs=2 State=IDLE


PartitionName=test Nodes=node[0-4] Default=YES MaxTime=INFINITE State=UP OverSubscribe=NO
# PartitionName=test Nodes=192.168.1.243,linux[1-32] Default=YES MaxTime=INFINITE State=UP

# DefMemPerNode=1000
# MaxMemPerNode=1000
# DefMemPerCPU=4000
# MaxMemPerCPU=4096