GROMACS (2019.3 GPU版) 并行效率测试及调试思路

b3115321 · 发表于 Post on 2021-5-2 18:50:43

单节点多rank速度慢一倍。
单机双CPU算几个节点？

ggdh · 发表于 Post on 2021-5-2 22:03:52

b3115321 发表于 2021-5-2 18:50
单节点多rank速度慢一倍。
单机双CPU算几个节点？

1个

TAN小白 · 发表于 Post on 2021-5-14 11:39:30

您好，我在使用您的脚本bench时出现了下面的错误提示。
File "gmxbench.sh", line 2
if [ $# -lt 1 ]; then
^
SyntaxError: invalid syntax

ggdh · 发表于 Post on 2021-5-14 21:53:36

TAN小白发表于 2021-5-14 11:39
您好，我在使用您的脚本bench时出现了下面的错误提示。
File "gmxbench.sh", line 2
if [ $# -lt 1 ] ...

1.确定你是bash环境
2.对脚本使用dos2unix
3.尝试使用bash gmxbench.sh的方式运行脚本

TAN小白 · 发表于 Post on 2021-5-19 08:51:32

ggdh 发表于 2021-5-14 21:53
1.确定你是bash环境
2.对脚本使用dos2unix
3.尝试使用bash gmxbench.sh的方式运行脚本

感谢您的解答。

我用的版本是gmx2018.8。运行命令gmxbench.sh -r 1 -g 0 -G "2 3" -a "-pin on"  -s 20000 -S 10000 adh.tpr时，出现了下面的错误提示：
Error in user input:
Invalid command-line options
  In command-line option -s
File
'/home/Tan/simulation/GMX/benchmark/ADH_bench_systems/ADH/adh_cubic/20000/20000'
does not exist or is not accessible.
The following extensions were tried to complete the file name:
   .tpr
Unknown command-line option -bonded
  In command-line option -pin
Invalid value: on  -s

ggdh · 发表于 Post on 2021-5-21 17:56:35

TAN小白发表于 2021-5-19 08:51
感谢您的解答。

我用的版本是gmx2018.8。运行命令gmxbench.sh -r 1 -g 0 -G "2 3" -a "-pin on" ...

用2019版把，2018版好像不知道-bonded选项

TAN小白 · 发表于 Post on 2021-5-25 18:01:40

ggdh 发表于 2021-5-21 17:56
用2019版把，2018版好像不知道-bonded选项

非常感谢

wzx · 发表于 Post on 2021-5-29 19:44:22

请问楼主和其他老师们，我用slurm系统向超算（一个节点共4cpu、32核、4dcu，cpu是海光的）提交gmx任务，作业脚本如下（有部分省略）
#! /bin/bash
#SBATCH -p normal
#SBATCH -N 2
#SBATCH --ntasks=64
#SBATCH --ntasks-per-node=32
#SBATCH -J run
#SBATCH --gres=dcu:4
#SBATCH --mem=220G
mpirun -np 16 gmx_mpi mdrun -deffnm nvt1 -v -nb gpu -npme 8 -pme cpu -ntomp 4
结果是：node1如下图所示，只用了16核（对应-np 16），而node2一核都没用。

我有几个问题想请教：1.#SBATCH参数中的ntasks是对应n个线程吗？2.为什么会出现图片中情况，#SBATCH参数和-np -ntomp该怎么设置才能达到每节点8MPI进程*4OpenMP线程并行运行（用满32核）的目的呢？感谢楼主了！

miaoxk · 发表于 Post on 2021-7-26 11:10:25

你好老师简单的多肽在水中，总共5千多原子，在学校的超算平台上
命令是gmx_mpi mdrun -deffnm md -ntmop *
ntmop 分别设20、10、5、1时，GPU 利用率分别是4%、6%、10%、17%
cpu是100%
加 ntmpi 后，提示Fatal error:
Setting the number of thread-MPI ranks is only supported with thread-MPI and GROMACS was compiled without thread-MPI

想问下，是cpu有限制吗，还能有啥办法提高gpu利用率吗，谢谢啦！

喵星大佬 · 发表于 Post on 2021-8-8 01:12:50

有个问题，显卡计算的时候如果是RTX A6000或者老的Quadro产品线的专业卡，通过NVlink连接之后对于多卡单任务速度是否有提升？再就是显存位宽对于速度是否有影响？

setuna · 发表于 Post on 2021-8-14 01:59:31

谢谢分享，正好解决手头的问题

shadowcrystal · 发表于 Post on 2021-12-29 15:26:31

感谢指导，非常有帮助

有一个小地方不明白想请教一下，”五，测试脚本“中多了一个关键词”-pin on“，增加这个关键词之后计算速度有明显提升，但前面的测试却并未使用，是使用这个关键词会造成什么问题吗？
官方手册上说这个关键词是用来线程关联的，没太懂。。。后续我计划用同一台机子上的两块gpu分别跑任务，到时候试试

牧生 · 发表于 Post on 2021-12-29 16:59:50

shadowcrystal 发表于 2021-12-29 15:26
感谢指导，非常有帮助
有一个小地方不明白想请教一下，”五，测试脚本“中多了一个关键词”-pin on“ ...

据我自己的感受，-pin on对于单卡单任务，有提升作用，此时是否需要-pinoff都不重要。

考虑试试-update gpu

shadowcrystal · 发表于 Post on 2021-12-29 17:18:55

牧生发表于 2021-12-29 16:59
据我自己的感受，-pin on对于单卡单任务，有提升作用，此时是否需要-pinoff都不重要。

考虑试试-updat ...

感谢，-update gpu试了一下测试用体系，显著提升。但我目前的模拟体系含有虚原子（tip4p）暂时不支持orz
再次感谢

lanthanum · 发表于 Post on 2022-3-4 23:16:16

gmx mdrun -ntmpi 1 -ntomp 12 -gpu_id 0 -s abc.tpr #使用0号gpu计算abc.tpr
gmx mdrun -ntmpi 1 -ntomp 12 -gpu_id 1 -s xyz.tpr #使用1号gpu计算xyz.tpr
在双cpu工作站，这样提交，两个任务都用同一个cpu，用1号gpu的xyz的任务明显速度慢。
请问，有没有类似的参数能指定cpu_id ? 从而把xyz任务分给第2个cpu。

		自动登录 Automatic login	找回密码 Forget password
密码 Password			注册 Register

[GROMACS] GROMACS (2019.3 GPU版) 并行效率测试及调试思路