slurm CPU管理

shuiningzhu

Slurm执行的CPU管理步骤

SLURM使用四个基本步骤来管理作业/步骤的CPU资源：

步骤1：选择节点。

步骤2：从所选节点分配CPU。

步骤3：将任务分配到所选节点。

步骤4：将任务可选地分发和绑定到节点内的CPU。

步骤1：选择节点。

Slurm选择要将CPU资源分配给作业或作业步骤的节点集。因此，节点选择受到控制CPU分配的许多配置和命令行选项的影响(下面的步骤2)。如果配置了SelectType=SELECT/LINEAR，则所选节点上的所有资源都将分配给作业/步骤。如果将SelectType配置为SELECT/CONS_RES或SELECT/CONS_TRES，则可以从所选节点中分配单个CPU、内核和线程作为消耗资源。消耗资源类型由SelectTypeParameters定义。

步骤1由slurmctld和选择插件执行。

slurm.conf  parameter	Possible  values	Description
NodeName	<name of  the node>    Plus  additional parameters. See man page for details.	定义节点。这包括节点上主板、插槽、内核、线程和处理器（逻辑CPU）的数量和布局。
PartitionName	<name of  the partition>    Plus  additional parameters. See man page for details.	定义分区。分区定义的几个参数会影响节点的选择(例如，nodes, OverSubscribe, MaxNodes)
SlurmdParameters	config_overrides	控制如何使用节点定义中的信息。
SelectType	select/linear | select/cons_res |  select/cons_tres	控制CPU资源是以整个节点为单位分配给作业和作业步骤，还是作为可消耗资源(插槽、核心或线程)。
SelectTypeParameters	CR_CPU | CR_CPU_Memory | CR_Core |  CR_Core_Memory | CR_Socket | CR_Socket_Memory    Plus  additional options. See man page for details.	定义可消耗的资源类型，并通过select插件控制CPU资源分配的其他方面。

srun/salloc/sbatch控制步骤1的命令行选项：

Command line option	Possible values	Description
-B, --extra-node-info	<sockets[:cores[:threads]]>	将节点选择限制为具有指定的插槽、核心和线程布局的节点。
-C, --constraint	<list>	将节点选择限制为具有指定属性的节点
--contiguous	N/A	Restricts node selection to contiguous nodes
--cores-per-socket	<cores>	将节点选择限制为每个插槽至少具有指定核数的节点
-c, --cpus-per-task	<ncpus>	控制分配给每个任务的cpu数量
--exclusive	N/A	防止与其他作业共享已分配的节点。为作业步骤分配子cpu。
-F, --nodefile	<node file>	包含要为作业选择的特定节点列表的文件(仅限salloc和batch）
--hint	compute_bound | memory_bound | [no]multithread	CPU资源分配的附加控制
--mincpus	<n>	控制每个节点分配的最小cpu数量
-N, --nodes	<minnodes[-maxnodes]>	控制分配给作业的最小/最大节点数
-n, --ntasks	<number>	控制要为作业创建的任务数
--ntasks-per-core	<number>	控制每个已分配核心的最大任务数
--ntasks-per-socket	<number>	控制每个已分配CPU的最大任务数
--ntasks-per-node	<number>	控制每个已分配节点的最大任务数
-O, --overcommit	N/A	允许分配的cpu数量少于任务数量
-p, --partition	<partition_names>	控制作业使用哪个分区
-s, --oversubscribe	N/A	允许与其他作业共享分配的节点
--sockets-per-node	<sockets>	将节点选择限制为至少具有指定数量的CPU的节点
--threads-per-core	<threads>	将节点选择限制为每个核心至少具有指定线程数的节点
-w, --nodelist	<host1,host2,... or  filename>	要分配给作业的特定节点的列表
-x, --exclude	<host1,host2,... or  filename>	要排除在作业分配之外的特定节点的列表
-Z, --no-allocate	N/A	绕过正常分配(特权选项仅提供给“SlurmUser”和“root”用户)

步骤2:从选定的节点分配cpu

Slurm从步骤1中选择的节点集中为作业/步骤分配CPU资源。因此，与节点选择相关的配置和命令行选项会影响CPU分配。如果配置了SelectType=select/linear，则所选节点上的所有资源都将分配给作业/步骤。如果SelectType配置为select/ con_res或select/ con_tres，则可以从所选节点分配独立的套接字、内核和线程作为可消耗资源。可消耗资源类型由SelectTypeParameters定义。

当使用select/ con_res或select/ con_tres的SelectType时，跨节点的默认分配方法是块分配(在使用另一个节点之前，分配一个节点中所有可用的cpu)。节点内的默认分配方法是循环分配(在节点内的套接字之间以循环方式分配可用cpu)。用户可以使用下面描述的适当命令行选项覆盖默认行为。分配方法的选择可能会影响将哪些特定cpu分配给作业/步骤。

步骤2由slurmctld和select插件执行。

slurm.conf控制步骤2的选项：

slurm.conf  parameter	Possible  values	Description
NodeName	<name of  the node>    Plus additional  parameters. See man page for details.	定义一个节点。这包括节点上的单板、插槽、核心、线程和处理器(逻辑cpu)的数量和布局。
PartitionName	<name of  the partition>    Plus additional  parameters. See man page for details.	定义分区。分区定义的几个参数会影响CPU资源对作业的分配(例如，Nodes,  OverSubscribe, MaxNodes)。
SlurmdParameters	config_overrides	控制如何使用节点定义中的信息。
SelectType	select/linear | select/cons_res |  select/cons_tres	控制CPU资源是以整个节点为单位分配给作业和作业步骤，还是作为可消耗资源(套接字、核心或线程)。
SelectTypeParameters	CR_CPU | CR_CPU_Memory | CR_Core |  CR_Core_Memory | CR_Socket | CR_Socket_Memory    Plus  additional options. See man page for details.	定义可消耗的资源类型，并通过select插件控制CPU资源分配的其他方面。

srun/salloc/sbatch控制步骤2的命令行选项：

Command line option	Possible values	Description
-B, --extra-node-info	<sockets[:cores[:threads]]>	限制 节点选择到具有指定cpu、内核布局的节点 和线程。
-C, --constraint	<list>	限制 对具有指定属性的节点进行节点选择
--contiguous	N/A	限制 对连续节点的节点选择
--cores-per-socket	<cores>	限制 节点选择到每个插槽至少具有指定内核数的节点
-c, --cpus-per-task	<ncpus>	控制 为每个任务分配的 CPU 数
--distribution, -m	block|cyclic    |arbitrary|plane=<options>[:block|cyclic]	第二个指定的分布（在 “：” 之后） 可用于覆盖节点内的默认分配方法
--exclusive	N/A	防止 与其他作业共享分配的节点
-F, --nodefile	<node file>	文件 包含要为作业选择的特定节点的列表（仅限 Salloc 和 Sbatch）
--hint	compute_bound | memory_bound | [no]multithread	附加 控制 CPU 资源的分配
--mincpus	<n>	控制 每个节点分配的最小 CPU 数
-N, --nodes	<minnodes[-maxnodes]>	控制 分配给作业的最小/最大节点数
-n, --ntasks	<number>	控制 要为作业创建的任务数
--ntasks-per-core	<number>	控制 每个分配的核心的最大任务数
--ntasks-per-socket	<number>	控制 每个分配的套接字的最大任务数
--ntasks-per-node	<number>	控制 每个分配节点的最大任务数
-O, --overcommit	N/A	允许 要分配的 CPU 数少于任务数
-p, --partition	<partition_names>	控制 作业使用哪个分区
-s, --oversubscribe	N/A	允许 与其他作业共享分配的节点
--sockets-per-node	<sockets>	限制 节点选择至少具有指定插槽数的节点
--threads-per-core	<threads>	限制 节点选择到每个内核至少具有指定线程数的节点
-w, --nodelist	<host1,host2,... or  filename>	列表 要分配给作业的特定节点数
-x, --exclude	<host1,host2,... or  filename>	列表 要从作业分配中排除的特定节点数
-Z,  --no-allocate	N/A	旁路 正常分配（用户可用的特权选项 仅限“诽谤用户”和“根”）

步骤3:将任务分配到选定的节点

在步骤3中，Slurm将任务分配到步骤1中为作业/步骤选择的节点。每个任务仅分布到一个节点，但每个节点可以分布多个任务。除非task指定了cpu复用，否则分配到节点上的任务数量受节点上分配的cpu数量和每个任务的cpu数量的约束。如果配置了可消耗的资源，或者允许资源共享，那么来自多个作业/步骤的任务可以同时运行在同一个节点上。

步骤3由slurmctld执行。

slurm.conf控制步骤3的选项：

slurm.conf  parameter	Possible  values	Description
MaxTasksPerNode	<number>	控制作业步骤可以在单个节点上生成的最大任务数

srun/salloc/sbatch控制步骤3的命令行选项：

Command line option	Possible values	Description
--distribution, -m	block|cyclic    |arbitrary|plane=<options>[:block|cyclic]	第一个指定的分布（在 “：” 之前） 控制将任务分发到每个选定节点的顺序。请注意， 此选项不会影响分发到每个节点的任务数，而只影响 分配。
--ntasks-per-core	<number>	控制每个分配的核心的最大任务数
--ntasks-per-socket	<number>	控制每个分配的套接字的最大任务数
--ntasks-per-node	<number>	控制每个分配节点的最大任务数
-r, --relative	N/A	控制 哪个节点用于作业步骤

步骤4:可选的任务分配和绑定到节点内的cpu

在可选的步骤4中，Slurm将每个任务分配并绑定到在步骤3中分配任务的节点上分配的cpu的指定子集。分布在同一节点上的不同任务可以绑定到相同的cpu子集或不同的子集。这一步被称为任务关联或任务/CPU绑定。

步骤4由slurmd和任务插件执行。

slurm.conf控制步骤3的选项：

slurm.conf  parameter	Possible  values	Description
TaskPlugin	task/none | task/affinity |  task/cgroup	控制是否启用此步骤以及要使用的任务插件

cgroup.conf选项控制步骤4(仅task/cgroup插件)：

cgroup.conf  parameter	Possible  values	Description
ConstrainCores	yes|no	控制作业是否受限于其分配的 CPU

srun/salloc/sbatch控制步骤4的命令行选项：

Command line option	Possible values	Description
--cpu-bind	See man page	控制任务与 CPU 的绑定 （仅限运行）
--ntasks-per-core	<number>	控制每个分配的核心的最大任务数
--distribution, -m	block|cyclic    |arbitrary|plane=<options>[:block|cyclic]	第二个指定的分布（在“：”之后）控制任务的顺序 分发到节点内分配的 CPU，以便将任务绑定到 CPU

CPU管理步骤附加说明

对于消耗性资源，了解cpu分配(步骤2)和任务关联/绑定(步骤4)之间的区别非常重要。cpu作为消耗性资源的独占(非共享)分配限制了可以同时使用节点的作业/步骤/任务的数量。但是它并没有限制节点上分配给该节点的每个任务可以使用的cpu集。除非使用某种形式的CPU/任务绑定(例如，任务或spank插件)，否则分配到节点上的所有任务都可以使用该节点上的所有CPU，包括未分配给它们的作业/步骤的CPU。这可能会对性能产生意想不到的不利影响，因为它允许一个作业使用专门分配给另一个作业的cpu。因此，在配置可消耗资源的同时不配置任务关联可能是不可取的。注意，在配置select/linear(整个节点分配)时，任务关联也很有用，可以通过将每个任务限制在某个节点上的特定插槽或CPU资源的其他子集来提高性能。