slurm作业系统只能同时运行一个任务

archer

自己在单个节点安装的slurm，仅能同时运行一个任务，多了就PD。slurm.conf如下：
SlurmctldPort=6817
SlurmdPort=6818
AuthType=auth/munge
StateSaveLocation=/tmp
SlurmdSpoolDir=/tmp/slurmd
SwitchType=switch/none
MpiDefault=none
SlurmctldPidFile=/var/run/slurm-llnl/slurmctld.pid
SlurmdPidFile=/var/run/slurm-llnl/slurmd.pid
ProctrackType=proctrack/pgid
CacheGroups=0
ReturnToService=2
TaskPlugin=task/affinity

# make the default memory per core
DefMemPerNode=1024
MaxJobCount=10
MinJobAge=180


# TIMERS
SlurmctldTimeout=120
SlurmdTimeout=120
InactiveLimit=0
KillWait=30
Waittime=0


# SCHEDULING
SchedulerType=sched/backfill

#SchedulerPort=7321
SelectType=select/cons_res
SelectTypeParameters=CR_CPU_Memory
FastSchedule=0

# LOGGING
SlurmctldDebug=3

#SlurmctldLogFile=/var/log/slurmctld.log
SlurmdDebug=3

#SlurmdLogFile=/var/log/slurmd.log
JobCompType=jobcomp/none

#JobCompLoc=
JobAcctGatherType=jobacct_gather/none

# COMPUTE NODES
#NodeName=P920-2
#PartitionName=DEFAULT MaxTime=INFINITE State=UP
# NODES

NodeName=xxxx CPUs=24 RealMemory=6404
PartitionName=compute #Nodes=ALL Default=YES Shared=YES

alystone

解决了吗，同问。

bluewhale

试一下 CR_LLN,CR_Core

一颗赛艇

slum一般就是这样。一般超算用户没有管理员权限所以我自己做了个队列系统。
我记得sbatch有一个overcommit的选项你看看好不好使

doublezhang

scontrol show job jobid 看看他为啥PD

monk1077

配置文件问题

highlight

试试

SelectTypeParameters=CR_CORE,CR_ONE_TASK_PER_CORE

abin

盲猜，应该是Ubuntu系统。

不过我的可以用呀，（因为我的也是Ubuntu系统呀） 我仅仅是测试了一下：

1. [abin@lab-itc slurm-test]$ slurmd -C
   
2. NodeName=lab-itc CPUs=8 Boards=1 SocketsPerBoard=1 CoresPerSocket=4 ThreadsPerCore=2 RealMemory=15950
   
3. UpTime=24-19:29:39
   
4. [abin@lab-itc slurm-test]$ qstat -n
   
5. 
   
6. lab-itc:
   
7.                                                                                Req'd  Req'd   Elap
   
8. Job id               Username Queue    Name                 SessID NDS   TSK   Memory Time Use S Time
   
9. -------------------- -------- -------- -------------------- ------ ----- ----- ------ ----- - -----
   
10. 9                    abin     workq    task1.pbs            --         1     2     -- 71582 R 00:00
    
11.    lab-itc/2
    
12. 10                   abin     workq    task1.pbs            --         1     2     -- 71582 R 00:00
    
13.    lab-itc/2
    
14. [abin@lab-itc slurm-test]$ squeue
    
15.              JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
    
16.                  9     workq task1.pb     abin  R       0:27      1 lab-itc
    
17.                 10     workq task1.pb     abin  R       0:24      1 lab-itc
    
18. [abin@lab-itc slurm-test]$

复制代码

注意选用
SelectType=select/cons_tres
SelectTypeParameters=CR_Core
结论是，配置不当。

monk1077

配置文件问题，与linux发行版本无关，善用软件日志
解决办法：
1）删除SelectTypeParameters=CR_CPU_Memory里面的_Memory；其实不带Memory的参数都可以；
2）如SelectTypeParameters=CR_CPU_Memory不改动，则需定义内存使用参数；

archer

abin 发表于 2020-12-1 11:07
盲猜，应该是Ubuntu系统。

不过我的可以用呀，（因为我的也是Ubuntu系统呀） 我仅仅是测试了一下：

已解决，请问您知道多台如何配置slurm吗

复前行79

可能和提交的任务申请了超过单个节点一半的内存有关，试试在提交的脚本里添加一下最大占用内存的设置，如参数#SBATCH --mem-per-cpu=1000 #MB；

abin

archer 发表于 2020-12-15 12:10
已解决，请问您知道多台如何配置slurm吗

我的机器就是多节点slurm调度集群。

我自己做的。

如果你想知道怎么做，可以看slurm手册。