为什么slurm不能正确调度GPU资源

Dempey · 发表于 Post on 2023-11-20 14:39:50

本帖最后由 Dempey 于 2023-11-20 14:39 编辑

各位老师好，我现在正在给一个集群安装slurm，其中CPU资源配置很成功，但GPU资源配置得有问题。
我的edu-node21节点有两块GPU，edu-node22节点有1块GPU，我在edu-node21节点每次提交作业只申请1个GPU，按道理可以两个作业一起运行，但第二个作业会显示因为资源问题而排队。

并且由于主要利用GPU跑GROMACS任务，单个任务的显卡占有率不高，故我尝试使用MPS和shard插件让一块GPU能同时运行多个任务，交了第一个任务后其他的任务也会因为资源而排队。
以下是我的slurm.conf文件和在edu-node21节点上的gres.conf。

slurm.conf (3.96 KB, 下载次数 Times of downloads: 27)

gres.conf (327 Bytes, 下载次数 Times of downloads: 24)

啊不错的飞过海 · 发表于 Post on 2023-11-20 15:33:13

作业提交是走srun提交的还是sbatch提交的，脚本里是如何写的？
可以把scontrol show job 79和scontrol show job 80的信息一并放上来，单看configure好像没什么问题。

Dempey · 发表于 Post on 2023-11-20 15:50:12

啊不错的飞过海发表于 2023-11-20 15:33
作业提交是走srun提交的还是sbatch提交的，脚本里是如何写的？
可以把scontrol show job 79和scontrol sho ...

我是用sbatch提交作业。
这是提交脚本：

gromacs.sh (951 Bytes, 下载次数 Times of downloads: 18)
我又新提交了两个任务，分别是84、85

啊不错的飞过海 · 发表于 Post on 2023-11-20 16:23:04

不知道你的任务的ReqTRES里为什么会有mem这项，可能是slurm.conf里SelectTypeParameters=CR_Core_Memory这行的原因。
我推测被占住导致排队的资源不是GPU而是内存，把slurm.conf里SelectTypeParameters改成CR_Core试试；可能需要重启slurmd/slurmctld。

Dempey · 发表于 Post on 2023-11-20 16:45:21

啊不错的飞过海发表于 2023-11-20 16:23
不知道你的任务的ReqTRES里为什么会有mem这项，可能是slurm.conf里SelectTypeParameters=CR_Core_Memory这 ...

谢谢老师，问题解决了，就是内存导致的，mps和shard也可以正常使用了

biogon · 发表于 Post on 2024-6-6 11:14:31

Dempey 发表于 2023-11-20 16:45
谢谢老师，问题解决了，就是内存导致的，mps和shard也可以正常使用了

你的多卡的机器mps和shard能正常调用多个gpu么

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[集群维护] 为什么slurm不能正确调度GPU资源