Santz 发表于 2024-10-28 11:59
懒人方法：找几个商用超算或者试用平台直接对比看看人家的设置。

老师您好，我尝试了这四种设置，结果是能提交任务但是都不能排队，您知道是什么原因吗？附件是我slurm.conf文件，麻烦您看一下。
#slurm.conf file generated by configurator easy.html.
# Put this file on all nodes of your cluster.
# See the slurm.conf man page for more information.
#
#ControlAddr=
SlurmctldHost=node0
#DebugFlags=NO_CONF_HASH
#
#MailProg=/bin/mail       
MpiDefault=none
#MpiParams=ports=#-#
ProctrackType=proctrack/cgroup
ReturnToService=2
SlurmctldPidFile=/var/run/slurmctld.pid
SlurmctldPort=6817
SlurmdPidFile=/var/run/slurmd.pid
SlurmdPort=6818
SlurmdSpoolDir=/var/spool/slurm/slurmd
SlurmUser=slurm
#SlurmdUser=root
#SlurmdUser=
StateSaveLocation=/var/spool/slurm/
SwitchType=switch/none
TaskPlugin=task/cgroup
#TaskPlugin=task/affinity
#
#
# TIMERS
KillWait=30
MinJobAge=300
SlurmctldTimeout=120
SlurmdTimeout=300
InactiveLimit=0
WaitTime=0
#
#
# SCHEDULING
SchedulerType=sched/backfill
#SelectType=select/cons_res
SelectType=select/cons_tres
#SelectTypeParameters=CR_CPU_memory
#SelectTypeParameters=CR_CPU
SelectTypeParameters=CR_Core_memory
DefMemPerCPU=6000
#SelectTypeParameters=CR_Core
#
#
# LOGGING AND ACCOUNTING
#AccountingStorageType=accounting_storage/slurmdbd
#AccountingStoreFlags=JobComment
#AccountingStorageEnforce=associations,limits,qos
#AccountingStoragePass=/var/run/munge/munge.socket.2
#AccountingStorageHost=node0
AccountingStoragePort=6819
ClusterName=cluster
#JobAcctGatherFrequency=30
JobAcctGatherType=jobacct_gather/none
SlurmctldDebug=info
SlurmctldLogFile=/var/log/slurmctld.log
SlurmdDebug=info
SlurmdLogFile=/var/log/slurmd.log
AllowSpecResourcesUsage=YES

#
#
# COMPUTE NODES
# NodeName=clustermaster CPUs=144 Boards=1 SocketsPerBoard=2 CoresPerSocket=36 ThreadsPerCore=2 RealMemory=515457
NodeName=node0 CPUs=144 Boards=1 SocketsPerBoard=2 CoresPerSocket=36 ThreadsPerCore=2 RealMemory=488448 Procs=2 State=IDLE
NodeName=node1 CPUs=144 Boards=1 SocketsPerBoard=2 CoresPerSocket=36 ThreadsPerCore=2 RealMemory=253952 Procs=2 State=IDLE
NodeName=node2 CPUs=144 Boards=1 SocketsPerBoard=2 CoresPerSocket=36 ThreadsPerCore=2 RealMemory=252928 procs=2 State=IDLE
NodeName=node3 CPUs=144 Boards=1 SocketsPerBoard=2 CoresPerSocket=36 ThreadsPerCore=2 RealMemory=252928 Procs=2 State=IDLE
NodeName=node4 CPUs=128 Boards=1 SocketsPerBoard=2 CoresPerSocket=32 ThreadsPerCore=2 RealMemory=498688 Procs=2 State=IDLE


PartitionName=test Nodes=node[0-4] Default=YES MaxTime=INFINITE State=UP OverSubscribe=NO
# PartitionName=test Nodes=192.168.1.243,linux[1-32] Default=YES MaxTime=INFINITE State=UP

# DefMemPerNode=1000
# MaxMemPerNode=1000
# DefMemPerCPU=4000
# MaxMemPerCPU=4096

Santz 发表于 2024-10-28 11:59
懒人方法：找几个商用超算或者试用平台直接对比看看人家的设置。

好的，谢谢您。

懒人方法：找几个商用超算或者试用平台直接对比看看人家的设置。

一般用CR_Core_Memory或CR_Core，我更喜欢前者加一个DefMemPerCPU设置，因为可以把内存也作为可分配资源。

CR_Core 的话每个任务默认都会申请计算节点的最大内存，除非脚本里明确指定申请多少内存。

[root@Master ~]# scontrol show config | grep -i SelectTypeParameters
SelectTypeParameters    = CR_CORE
[root@master ~]# jobinfo 13651
Name                : opt
User                : renxuan
Account             : lynpu
Partition           : batch
Nodes               : node8
Cores               : 40
GPUs                : 0
State               : RUNNING
ExitCode            : --
Submit              : 2024-10-26T15:45:11
Start               : 2024-10-28T09:56:21
End                 : --
Waited              : 1-18:11:10
Reserved walltime   :   00:00:00
Used walltime       :   01:52:01
Used CPU time       :   00:00:00
% User (Computation): --
% System (I/O)      : --
Mem reserved        : 1028000M
Max Mem used        : 2.11G (node8)
Max Disk Write      : 24.75G (node8)
Max Disk Read       : 35.55G (node8)
[root@master ~]# jobinfo 13675
Name                : Gaussian16
User                : WX
Account             : lynpu
Partition           : batch
Nodes               : node3
Cores               : 20
GPUs                : 0
State               : RUNNING
ExitCode            : --
Submit              : 2024-10-27T20:54:26
Start               : 2024-10-27T22:46:18
End                 : --
Waited              :     01:51:52
Reserved walltime   : 365-00:00:00
Used walltime       :     13:02:18
Used CPU time       :     00:00:00
% User (Computation): --
% System (I/O)      : --
Mem reserved        : 1028000M
Max Mem used        : 17.30G (node3)
Max Disk Write      : 121.08G (node3)
Max Disk Read       : 261.76G (node3)

CR_Core_Memory 的话每个任务默认会根据DefMemPerCPU调整，比如这里的设置是DefMemPerCPU=6000，其实可以设置得更小，让用户根据实际在脚本里调整内存。脚本里也可以明确指定申请多少内存，默认设置对有些任务可能会提示OOM。

[root@master ~]# scontrol show config | grep -i SelectTypeParameters
SelectTypeParameters    = CR_CORE_MEMORY
[root@master ~]# jobinfo 3823
Name                : Ab_1027
User                : zhj
Account             : zhj_bank
Partition           : cpu
Nodes               : node3
Cores               : 10
GPUs                : 0
State               : RUNNING
ExitCode            : --
Submit              : 2024-10-27T14:30:43
Start               : 2024-10-27T14:30:43
End                 : --
Waited              :     00:00:00
Reserved walltime   : 365-00:00:00
Used walltime       :     21:22:51
Used CPU time       :     00:00:00
% User (Computation): --
% System (I/O)      : --
Mem reserved        : 60000M
Max Mem used        : 94.79M (node3)
Max Disk Write      : 98.69K (node3)
Max Disk Read       : 14.65M (node3)
[root@master ~]# jobinfo 3564
Name                : Ab_1023
User                : zhj
Account             : zhj_bank
Partition           : cpu
Nodes               : node3
Cores               : 40
GPUs                : 0
State               : RUNNING
ExitCode            : --
Submit              : 2024-10-23T10:56:08
Start               : 2024-10-23T10:56:08
End                 : --
Waited              :   00:00:00
Reserved walltime   :   00:00:00
Used walltime       : 5-00:57:33
Used CPU time       :   00:00:00
% User (Computation): --
% System (I/O)      : --
Mem reserved        : 240000M
Max Mem used        : 158.18M (node3)
Max Disk Write      : 510.63K (node3)
Max Disk Read       : 16.70M (node3)