超算slurm系统提交gmx任务的核数设置问题

wzx

在使用超算slurm系统提交gmx_mpi作业的时候，设置的#SBATCH  --ntasks-per-node=8  
#SBATCH  -cpus-per-task=4

一个节点总共32核，但这么提交却只用了8核，请问老师们原因是啥？怎么修改才能用满32核？

附：作业提交脚本
#! /bin/bash
#SBATCH -p normal
#SBATCH -N 18
#SBATCH -n 144
#SBATCH --ntasks-per-node=8
#SBATCH --cpus-per-task=4
#SBATCH -J run
#SBATCH --gres=dcu:4
#SBATCH --mem=220G
#SBATCH -o 1.o
#SBATCH -e 1.e

module purgemodule
module load compiler/devtoolset/7.3.1 compiler/rocm/2.9 mpi/hpcx/2.4.1/gcc-7.3.1 apps/gromacs-DCU/2018.7/hpcx-v2.4.1-gcc-7.3.1

mpirun  -np 144 gmx_mpi mdrun  -deffnm nvt1 -v -nb gpu -npme 72 -pme cpu

wzx

补一个图

这个图是不是说明一个插槽共8核，只用了2核，一节点4插槽共用了8核。

abin

你自己看看 -N -n 啥意义不就明白了。

wzx

abin 发表于 2021-5-29 13:28
你自己看看 -N -n 啥意义不就明白了。

我是想每个节点用8个MPI进程，每个MPI进程用4核、OpenMP并行运行，请问该怎么设置？感谢老师了！

abin

google for slurm openMP

laoman

“#SBATCH --cpus-per-task=4”只是设置了一个上限，每个线程的CPU使用率最高可以到400%

可以在load了Gromacs之后加一个“export OMP_NUM_THREADS=4”, 看看能不能提高GMX线程的CPU使用率

abin

补充一下：
### 2 compute nodes
#SBATCH --nodes=2

### 4 MPI ranks
#SBATCH --ntasks=4

### 2 MPI ranks per node
#SBATCH --ntasks-per-node=2

### 3 tasks per MPI rank
#SBATCH --cpus-per-task=3

### the number of OpenMP threads
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
所以，以上的内容就是：
来两个节点；每个节点上运行两个进程，每一个进程由三个线程负载。
你会在nodeA和nodeB，
分别看到两个进程，每一个进程应该都是300%的CPU占用率。

这玩意，slurm手册上都有。

wzx

感谢两位老师解答，不过我设了export OMP_NUM_THREADS=4之后每节点还是只用了8核，像上图一样，且log文件里显示“Using 4 OpenMP threads per MPI process”。我就纳闷了，真的不知道为什么！

abin

wzx 发表于 2021-5-30 13:50
感谢两位老师解答，不过我设了export OMP_NUM_THREADS=4之后每节点还是只用了8核，像上图一样，且log文件里 ...

编译有没有开启openMP + MPI模式？

wzx

超算中心编译好的，我直接用的。  我试试重新编译。