求助：slurm的一个节点如何运行多个作业

lilf · 发表于 Post on 2024-2-23 09:42:56

在一台64核的服务器安装了slurm队列软件，一个作业设置为16核，但是只能运行一个作业，不能运行4个作业。请问该如何设置一下

streamlet · 发表于 Post on 2024-7-27 06:27:49

kail 发表于 2024-4-12 17:28
我也遇到这个问题，看了这个帖子，添加 SelectTypeParameters=CR_CPU 后，发现计算速度变慢了。查了官方文 ...

您好，请问这里的每个CPU是指的核心数吗？我是双路两个CPU，每个48核心，开了超线程，请问这个数字用2还是96还是192啊？

thor · 发表于 Post on 2024-5-23 14:00:36

lilf 发表于 2024-2-25 16:25
已经解决了，更改这里就行了
SelectType=select/cons_tres
SelectTypeParameters=CR_CPU

更改了之后还是没用，奇怪

kail · 发表于 Post on 2024-4-12 17:28:02

我也遇到这个问题，看了这个帖子，添加 SelectTypeParameters=CR_CPU 后，发现计算速度变慢了。查了官方文档，原来 SelectType=select/cons_tres 默认的配置是CR_Core_Memory，在该选项下，需要配置每个CPU可以使用的内存，添加 DefMemPerCPU=xxxx 之后，就可以运行多个任务了，速度也没有减慢。

logzzz · 发表于 Post on 2024-3-25 16:44:15

可以根据你编译软件用的不同的编译器设置语言绑定到具体的CPU上，可以实现高效并行。举个简单的例子，比如intelmpi可以用 -genv I_MPI_PIN_PROCESSOR_LIST 0-31 ，实现绑定。openmpi可以参考社长写的提升orca并行效率的帖子。http://sobereva.com/553

lilf · 发表于 Post on 2024-2-29 10:16:30

Kamistry 发表于 2024-2-28 22:20
这个网站就是官方的配置生成

谢谢

Kamistry · 发表于 Post on 2024-2-28 22:20:20

lilf 发表于 2024-2-27 17:02
您能发我一个配置文件吗，我再试试看

这个网站就是官方的配置生成

lilf · 发表于 Post on 2024-2-27 17:02:41

Kamistry 发表于 2024-2-27 09:46
看看https://slurm.schedmd.com/configurator.easy.html，官网给出的设置一样没有这行。而且我们的双路96 ...

您能发我一个配置文件吗，我再试试看

Kamistry · 发表于 Post on 2024-2-27 09:46:51

本帖最后由 Kamistry 于 2024-2-27 09:50 编辑

lilf 发表于 2024-2-26 14:24
我把SelectTypeParameters=CR_CPU删掉后，又不可以算多个任务了，应该这个是必须的

看看https://slurm.schedmd.com/configurator.easy.html，官网给出的设置一样没有这行。而且我们的双路9654没有加这行，完全可以多个任务一起跑。

刚才找了一台2620v4，核数少的情况一样不需要这一行就能跑多个任务。

lilf · 发表于 Post on 2024-2-26 17:02:05

九月九发表于 2024-2-26 14:58
分成4个作业提交可能会严重每个作业的计算效率

机器的核数有64个

九月九 · 发表于 Post on 2024-2-26 14:58:29

lilf 发表于 2024-2-26 14:24
我把SelectTypeParameters=CR_CPU删掉后，又不可以算多个任务了，应该这个是必须的

分成4个作业提交可能会严重每个作业的计算效率

lilf · 发表于 Post on 2024-2-26 14:24:13

Kamistry 发表于 2024-2-25 20:19
后面这行不是必须的，不如默认的CR_Core，如果要改也应该改成CR_Core_Memory同时分配内存。参见https://s ...

我把SelectTypeParameters=CR_CPU删掉后，又不可以算多个任务了，应该这个是必须的

Kamistry · 发表于 Post on 2024-2-25 20:19:14

本帖最后由 Kamistry 于 2024-2-25 20:22 编辑

lilf 发表于 2024-2-25 16:24
已经解决了，改了
SelectType=select/cons_tres
SelectTypeParameters=CR_CPU

后面这行不是必须的，不如默认的CR_Core，如果要改也应该改成CR_Core_Memory同时分配内存。参见https://slurm.schedmd.com/cons_tres.html。说明我之前说解决方法的时候你没有试

lilf · 发表于 Post on 2024-2-25 16:25:15

lilf 发表于 2024-2-23 16:47
更改了之后，也不管用

已经解决了，更改这里就行了
SelectType=select/cons_tres
SelectTypeParameters=CR_CPU

lilf · 发表于 Post on 2024-2-25 16:24:27

Kamistry 发表于 2024-2-23 18:53
更改之后重启slurmctld和slurmd了吗

已经解决了，改了
SelectType=select/cons_tres
SelectTypeParameters=CR_CPU

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[集群维护] 求助：slurm的一个节点如何运行多个作业

浏览过的版块