Ubuntu20.04 安装单机slurm教程

teikouni

您好，请问安装完之后提交任务发现计算一直没进行，运行时间一直是0，然后取消任务后状态一直处于CG状态是什么原因呢，求大佬指点

wxyhgk

teikouni 发表于 2023-4-26 16:25
您好，请问安装完之后提交任务发现计算一直没进行，运行时间一直是0，然后取消任务后状态一直处于CG状态是 ...

我不清楚你做的什么任务，但是可以给你解释 CG 和 PD 的含义

CG (Completing)：这表示作业正在完成阶段。作业已经完成执行，但在正式标记为已完成之前，SLURM 仍在处理一些后期管理任务，例如清理、数据收集等。

PD (Pending)：这表示作业正在等待执行。作业已经提交，但由于各种原因（例如，没有足够的资源、优先级较低等）尚未开始执行。在有资源可用并且符合调度策略时，作业将从等待状态变为运行状态。
取消任务用

1. scancel 任务job的id

复制代码

teikouni

wxyhgk 发表于 2023-4-26 16:58
我不清楚你做的什么任务，但是可以给你解释 CG 和 PD 的含义

CG (Completing)：这表示作业正在完成阶 ...

试着运行了一下您教程中的这个任务，然后还是出现了类似的问题，似乎是运行不了，然后一直处于CG状态也结束不了

wxyhgk

teikouni 发表于 2023-4-26 21:12
试着运行了一下您教程中的这个任务，然后还是出现了类似的问题，似乎是运行不了，然后一直处于CG状态也结 ...

可以加我qq给你远程解决 3123624718

abin

如果是Ubuntu 22.04，
在某次系统升级之后，
会出现无法使用的问题。

楼上应该可以解决这个问题。

或者用我的工具包，刷完之后，立即可用，不过有偿。

乐平

安装完之后启动 slurm

1. (base) huan@grape:~/scitools$ sinfo --long
   
2. Tue May 09 22:43:49 2023
   
3. PARTITION AVAIL  TIMELIMIT   JOB_SIZE ROOT OVERSUBS     GROUPS  NODES       STATE NODELIST
   
4. debug*       up   infinite 1-infinite   no       NO        all      1    unknown* grape
   

复制代码

STATE 的状态是 unknown* ，不是 idle


提交计算任务始终在 PANDDING 的状态

1. (base) huan@grape:~/scitools$ squeue
   
2.              JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
   
3.                  1     debug      h2o     huan PD       0:00      1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions)
   

复制代码

查看了 slurmd 和 slurmctld 的状态，显示如下：
应该是 slurmd 没正常运行（Active: failed ）， slurmctld 似乎是正常运行的（Active: active (running) ）。

1. (base) huan@grape:~/scitools$ sudo systemctl status slurmd
   
2. × slurmd.service - Slurm node daemon
   
3.      Loaded: loaded (/lib/systemd/system/slurmd.service; enabled; vendor preset: enabled)
   
4.      Active: failed (Result: exit-code) since Tue 2023-05-09 22:35:32 CST; 24s ago
   
5.        Docs: man:slurmd(8)
   
6.     Process: 145145 ExecStart=/usr/sbin/slurmd -D -s $SLURMD_OPTIONS (code=exited, status=1/FAILURE)
   
7.    Main PID: 145145 (code=exited, status=1/FAILURE)
   
8.         CPU: 152ms
   
9. 
   
10. May 09 22:35:31 grape systemd[1]: Started Slurm node daemon.
    
11. May 09 22:35:32 grape systemd[1]: slurmd.service: Main process exited, code=exited, status=1/FAILURE
    
12. May 09 22:35:32 grape systemd[1]: slurmd.service: Failed with result 'exit-code'.
    
13. (base) huan@grape:~/scitools$
    
14. 
    
15. 
    
16. (base) huan@grape:~/scitools$ sudo systemctl status slurmctld
    
17. ● slurmctld.service - Slurm controller daemon
    
18.      Loaded: loaded (/lib/systemd/system/slurmctld.service; enabled; vendor preset: enabled)
    
19.      Active: active (running) since Tue 2023-05-09 22:35:25 CST; 1min 12s ago
    
20.        Docs: man:slurmctld(8)
    
21.    Main PID: 145054 (slurmctld)
    
22.       Tasks: 10
    
23.      Memory: 2.3M
    
24.         CPU: 83ms
    
25.      CGroup: /system.slice/slurmctld.service
    
26.              ├─145054 /usr/sbin/slurmctld -D -s
    
27.              └─145055 "slurmctld: slurmscriptd" "" ""
    
28. 
    
29. May 09 22:35:25 grape slurmctld[145054]: slurmctld: Recovered information about 1 jobs
    
30. May 09 22:35:25 grape slurmctld[145054]: slurmctld: select/cons_tres: part_data_create_array: select/cons_tres: preparing for 1 partitions
    
31. May 09 22:35:25 grape slurmctld[145054]: slurmctld: Recovered state of 0 reservations
    
32. May 09 22:35:25 grape slurmctld[145054]: slurmctld: read_slurm_conf: backup_controller not specified
    
33. May 09 22:35:25 grape slurmctld[145054]: slurmctld: select/cons_tres: select_p_reconfigure: select/cons_tres: reconfigure
    
34. May 09 22:35:25 grape slurmctld[145054]: slurmctld: select/cons_tres: part_data_create_array: select/cons_tres: preparing for 1 partitions
    
35. May 09 22:35:25 grape slurmctld[145054]: slurmctld: Running as primary controller
    
36. May 09 22:35:25 grape slurmctld[145054]: slurmctld: No parameter for mcs plugin, default values set
    
37. May 09 22:35:25 grape slurmctld[145054]: slurmctld: mcs: MCSParameters = (null). ondemand set.
    
38. May 09 22:36:25 grape slurmctld[145054]: slurmctld: SchedulerParameters=default_queue_depth=100,max_rpc_cnt=0,max_sched_time=2,partition_job_depth=0,sched_max_job_start=0,sched>
    
39. (base) huan@grape:~/scitools$
    

复制代码

乐平

mxh 发表于 2023-3-30 09:08
请问各位老师，我们用的超算squeue可以显示所用的CPUs，我照这个教程在组内服务器安装slurm，可以运行，如 ...

你可以在 squeue 命令后面自定义显示的内容，比如

1. squeue -o"%.10i %.9P %.8j %.15u %.4t %.12M %.6D %.6C %.10R"

复制代码

这里的 %是占位符，后面的小数点数字代表用几个字符显示，紧随其后的字母代表要显示的项目，比如 i 代表 JOBID, p 代表 PARTITION，j 代表 JOBNAME， u 代表 USER，t 代表 STATE， M 代表时间，D 代表 NODE，C 代表 CPU， R 代表 NODELIST(REASON)

如果你觉得每次都输入这么一长串很麻烦，可以在环境变量里设置别名

1. 打开环境变量文件
   
2. vi ~/.bashrc
   
3. 
   
4. 输入别名
   
5. alias sqa='squeue -o"%.10i %.9P %.8j %.15u %.4t %.12M %.6D %.6C %.10R"'
   
6. 
   
7. 
   
8. 保存关闭环境变量文件
   
9. 
   
10. 激活环境变量
    
11. source ~/.bashrc

复制代码

然后，你输入 squeue 就能显示你希望的 CPU 信息了。当然，各个项目的顺序你可以根据自己偏好进行调整。

乐平

乐平 发表于 2023-5-9 22:49
安装完之后启动 slurm

终于解决了！

其实主要是 slurm.conf 文件配置的细节问题。

之前没有注意到 “ProctrackType:”我选的是 Cgroup ，但是没有给出 cgroup.conf 设置，所以 slurmd 和 slurmctld 启动有问题。
“ProctrackType:”选为 Pgid 之后，再重新启动 slurmd 和 slurmctld 就正常了。

llity

谢谢分享，发现邮件通知功能出错。Ubuntu server 22.04

1. vi g09.slurm
   
2. s-nail: Warning: variable superseded or obsoleted: smtp
   
3. s-nail: Warning: variable superseded or obsoleted: smtp-auth-user
   
4. s-nail: Warning: variable superseded or obsoleted: smtp-auth-password
   
5. s-nail: Obsoletion warning: please do not use *smtp*, instead assign a smtp:// URL to *mta*!
   
6. s-nail: Obsoletion warning: Use of old-style credentials, which will vanish in v15!
   
7. s-nail:   Please read the manual section "On URL syntax and credential lookup"
   
8. s-nail: Cannot find a usable character set to encode message: No such entry, file or directory

复制代码

wxyhgk

llity 发表于 2023-5-15 13:24
谢谢分享，发现邮件通知功能出错。Ubuntu server 22.04

你前面做了测试了吗，给出你的 g09.slurm 代码

llity

wxyhgk 发表于 2023-5-15 20:03
你前面做了测试了吗，给出你的 g09.slurm 代码

重新安装一遍可以了，谢谢。一个疑问：
安装slurm和slurm-wlm slurm-wlm-doc有什么区别，谢谢

乐平

llity 发表于 2023-5-22 14:13
重新安装一遍可以了，谢谢。一个疑问：
安装slurm和slurm-wlm slurm-wlm-doc有什么区别，谢谢

顾名思义，doc 应该是文档

llity

乐平 发表于 2023-5-22 21:33
顾名思义，doc 应该是文档

这个是的，还有一个slurm安装包，没有wlm后缀

乐平

llity 发表于 2023-5-22 23:27
这个是的，还有一个slurm安装包，没有wlm后缀

如果你自己动手查一下官网，就知道了。

https://slurm.schedmd.com/download.html

Download Slurm
Slurm source can be downloaded from https://www.schedmd.com/downloads.php.
Slurm has also been packaged for Debian and Ubuntu (named slurm-wlm), Fedora, and NetBSD (in pkgsrc) and FreeBSD.

slurm-wlm 是给 Debian 和 Ubuntu 定制的包。

star2128

wxyhgk 发表于 2022-10-13 19:12
半个小时可以搞定的事情得花几百，个人感觉你这个比较坑了

强烈赞同。试了版主的方法，已经成功安装，邮件也可以收到了。